Robots.txt файлын жазуға арналған жылдам нұсқаулық

Іздеу жүйесіндегі паукпен байланыста болудың жалғыз жолы немесе тексеруші, деп аталатын файл арқылы жүзеге асырылады robots.txt. Немесе жақсырақ. Сіз өзіңіздің веб-сайтыңыздың ұсынысын Google-ға жіберген кезде, ол өте үлкен ақпаратпен бетпе-бет келеді.

Сізге қажет нәрсенің бәрін таба алмайтындай сезінетіндей үлкен оқулықты қалай қарауға болады? Сіз ақылдасыңыз көрсеткіш. Жақсы: robots.txt файлы веб-сайтыңыздың индексі болып табылады.

Бұл іздеу жүйесін тексерушіге не іздеу керектігін айтатын оңай толтырылатын құжат. Қысқасы: сіз оған сіздің сайтыңыздың неден жасалғанын түсінуге көмектесесіз, осылайша алгоритм сізге жасаған жұмысыңызға сәйкес рейтингті бере алады.

Кез келген адам robots.txt файлын жаза алады ма?

Қысқа жауап - иә. Адал жауап – жоқ. Robots.txt файлының грамматикасы өте қарапайым және оның құрамы бірнеше жолдардан тұратынына қарамастан, қолын қайда қою керектігін білетін сарапшы веб-шебердің қамқорлығына сенген дұрыс. Ақыр соңында, веб-сайтыңыздың орналасуына нұқсан келтіру үшін кішкене қате жеткілікті, сондықтан барлық SEO операцияларын бастамас бұрын тоқтатыңыз.

Бастамас бұрын бір нәрсені біліңіз: кез келген адам доменнен кейін /robots.txt жазу арқылы кез келген сайттың robots.txt файлын көре алады. Сіз тіпті Google-дан кеңес ала аласыз!

Мұндай файлды арнайы бағдарламалық жасақтаманы жүктеп алмай-ақ жазуға болады. Шындығында, блокнотты пайдаланып, .txt пішімінде сақтау жеткілікті.

Бірге robots.txt файлын жазайық: тақырып

Басынан бастайық, өйткені мұны істеу әрқашан қисынды. Файлдың ашылуы, дәлірек айтқанда, тақырып толығымен өрмекшінің атына арналған, оның алдында әрқашан бірдей болатын шағын сөз. Сіз Google назарына алғыңыз келеді делік. Сонымен, бірінші жол келесідей болады:

Пайдаланушы-агент: Googlebot

Бұл өте қысқа жол Google-ге келесінің бәрі оны қызықтыратынын айтады. Осы файл түрін оқитын барлық тексеріп шығушылардың құжатпен танысуын қаласаңыз, Googlebot қолданбасын қарапайым *, жұлдызша.

Енді сіз қандай өрмекші, яғни ДДҰ-ны көрсеткеннен кейін сізге көрсету керек Сондай-ақ ол НЕ оқуы керек.

Кодтың әрбір жолы анықтамасы бойынша машина әрекетіне сәйкес келеді. Robots.txt файлындағы әрбір пәрмен құрылғы орындамауы керек нәрсеге сәйкес келетіні айтпаса да түсінікті. Бұл шын мәнінде тиімді жазуға мүмкіндік беретін кілт. Біз DISALLOW командасы туралы айтып отырмыз.

DISALLOW командасы дегеніміз не?

Il рұқсат бермеу пәрмені алып тастау арқылы дәлелдеуге мүмкіндік береді. Басқаша айтқанда, бірінші кезекте не істеуге болмайтынын айту керек деп айтса, сіз шеттету арқылы дәлелдейсіз. Рұқсат етпеуден басқа, рұқсат ету де бар, бұл блоктан ерекшелік.

Жақсы роботтар файлын жазғыңыз келсе, басқаша ойлауыңыз керек, сондықтан Google-ға оның оқылмауы керек нәрсені айтуыңыз керек. Егер сіз жазсаңыз:

Рұқсат етілмейді:

Өрмекші сіздің бүкіл сайтыңызды тежеусіз оқиды.

«Болмау:» дегеннен кейін қиғаш сызық қойсаңыз (сондықтан рұқсат бермеу: /), сайт іздеу жүйелеріне енгізілмейді, нүкте.

Рұқсат етпеу: /каталогтар/

Сөз каталогын паук көрінісінен бас тартқыңыз келетін қалтамен ауыстырыңыз. Нақты файлмен де солай жасауға болады.

Рұқсат етпеу: /myfile.html

НАЗАР АУДАРЫҢЫЗ тыныс белгілері мен әріптер, бас немесе кіші әріп. Файлдың бұл түрі «ұсақ-түйек» түрлерін жоғары бағалайды, бірақ олар үлкен айырмашылықты тудырады.

Неліктен Google-ға сайтыңыздың көп бөлігін оқуды тоқтатасыз? Осы түрдегі файлды жазғанда, қандай файлдар іздеу жүйесінде пайда болмайтынын түсіну маңызды, бірақ оларды теріс пайдаланбай. Дегенмен, белгілі бір файлдың нақты мекенжайын білетін кез келген адам оған кез келген жағдайда қол жеткізе алатынын біліңіз.

РҰҚСАТ БЕРУ пәрмені дегеніміз не?

Файлда пәрменмен ерекшелік қосуға болады АЛЛА. Грамматика бірдей, бірақ ол РҰҚСАТ БЕРМЕУге кейбір ерекшеліктер жасайды, бұл өрмекші үшін қызықты зерттеу шекараларын ашуға мүмкіндік береді.

Шағын үлгі файлы:

Пайдаланушы-агент: Googlebot

Рұқсат етпеу: /суреттер/

Рұқсат етіңіз: /images/holidays.jpg

Негізінде біз Googlebot-ке сурет қалтасын, оның ішіндегі белгілі бір фотосуретті, атап айтқанда мерекелердегі фотосуретті қоспағанда, қарастырмауды айттық.

Міне, балалар, солай. Біз бірінші robots.txt файлымызды жаздық. Әрине, нақты сайт үшін не істейтініміз сәл өзгеше болуы мүмкін, бірақ көп емес. Егер күмәніңіз болса, әрқашан арнайы веб-шеберден кеңес алыңыз. Біз сізге, ең алдымен, оны өзіңіз жазып, оны тексеруге жіберуге кеңес береміз, осылайша бастапқы мәліметтерді игеріп, сайтыңыздың қалай жұмыс істейтінін жақсы түсінуге болады.

robots.txt және сайт карталары арасында қандай байланыс бар?

Сайт картасы - бұл сайттағы барлық сілтемелерді қамтитын арнайы плагиндер арқылы жасалған файл. Өрмекші сайтқа кірген кезде алдымен роботтарды оқиды, содан кейін сайтты тексереді. Тексеру кезінде робот сайт картасының мекенжайын тапса, бүкіл процесс әлдеқайда жеңіл болады.

Жоғарыдағы кодқа келесіні қосыңыз:

Сайт картасы: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Қорытындысында

Барлық робот файлдары бірдей. Бұл Google үшін жазылған Robots файлы Bing үшін де жақсы жұмыс істейтінін және сол грамматиканы сақтайтынын білдіреді.

Жақсы ұйымдастырылған robots.txt файлы сізге мүмкіндік береді тексеріп шығушының уақытын үнемдеңіз. Көңіліңізді түсірмеңіз: бұл жетістікке жетудің алғашқы қадамы!