Търсачките са оборудвани с роботи, известни още като паяци или ботове, които обхождат и индексират уеб страници. Ако вашият сайт или страница е в процес на разработка или съдържа чувствително съдържание, може да искате да блокирате ботовете да обхождат и индексират вашия сайт. Научете как да блокирате цели уебсайтове, страници и връзки с файлове robots.txt и да блокирате конкретни страници и връзки с html тагове. Прочетете, за да откриете как да блокирате достъпа на конкретни ботове до вашето съдържание.
Стъпки
Метод 1 от 2: Блокиране на търсачки с файлове robots.txt
Стъпка 1. Разберете файловете robots.txt
Файл robots.txt е обикновен или ASCII текстов файл, който информира паяците на търсачките за това, което им е разрешено да имат достъп на вашия сайт. Файловете и папките, изброени във файл robots.txt, не могат да бъдат обхождани и индексирани от паяци на търсачки. Може да се нуждаете от файл robots.txt, ако:
- Искате да блокирате конкретно съдържание от паяци в търсачките.
- Разработвате сайт на живо и не сте готови да накарате паяците от търсачките да обхождат и индексират сайта
- Искате да ограничите достъпа до реномирани ботове.
Стъпка 2. Създайте и запазете и файл robots.txt
За да създадете файла, стартирайте обикновен текстов редактор или редактор на код. Запазете файла като: robots.txt. Името на файла трябва да е с малки букви.
- Не забравяйте буквите „s“.
- Когато запишете файла, изберете разширението „.txt““. Ако използвате Word, изберете опцията „Обикновен текст“.
Стъпка 3. Напишете файл robots.txt с пълна забрана
Възможно е да блокирате всеки реномиран паяк в търсачката да обхожда и индексира вашия сайт с „пълно забранено“robots.txt. Напишете следните редове във вашия текстов файл:
Потребителски агент: * Забранено: /
Стъпка 4. Напишете robots.txt файл с условно разрешаване
Вместо да блокирате всички ботове, помислете за блокиране на конкретни паяци от определени области на вашия сайт. Общите команди за условно разрешаване включват:
- Блокирайте конкретен бот: заменете звездичките до Потребителски агент с googlebot, googlebot-news, googlebot-изображение, bingbot, или teoma.
-
Блокирайте директория и нейното съдържание:
Потребителски агент: * Забранено: /sample-directory /
-
Блокиране на уеб страница:
Потребителски агент: * Забранено: /private_file.html
-
Блокиране на изображение:
Потребителски агент: googlebot-image Disallow: /images_mypicture.jpg
-
Блокиране на всички изображения:
Потребителски агент: googlebot-image Disallow: /
-
Блокиране на определен файлов формат:
Потребителски агент: * Забранено: /p*.gif$
Стъпка 5. Насърчавайте ботовете да индексират и обхождат вашия сайт
Много хора искат да приветстват, вместо да блокират, паяци в търсачките, защото искат целия им сайт да бъде индексиран. За да постигнете това, имате три възможности. Първо, можете да се откажете от създаването на файл robots.txt-когато роботът не намери файл robots.txt, той ще продължи да обхожда и индексира целия ви сайт. Второ, можете да създадете празен файл robots.txt-роботът ще намери файла robots.txt, ще разпознае, че е празен и ще продължи да обхожда и индексира вашия сайт. И накрая, можете да напишете напълно разрешен файл robots.txt. Използвайте кода:
Потребителски агент: * Забранено:
Стъпка 6. Запазете txt файла в корена на вашия домейн
След като сте написали файла robots.txt, запишете промените. Качете файла в основната директория на вашия сайт. Например, ако вашият домейн е www.yourdomain.com, поставете файла robots.txt на www.yourdomain.com/robots.txt.
Метод 2 от 2: Блокиране на търсачки с мета тагове
Стъпка 1. Разберете мета таговете на HTML роботи
Мета маркерът robots позволява на програмистите да задават параметри за ботове или паяци в търсачките. Тези тагове се използват за блокиране на ботове от индексиране и обхождане на цял сайт или само на части от него. Можете също да използвате тези тагове, за да блокирате индексиране на съдържанието на конкретен паяк от търсачката. Тези тагове се появяват в главата на вашия HTML файл.
Този метод обикновено се използва от програмисти, които нямат достъп до основната директория на уебсайта
Стъпка 2. Блокирайте ботовете от една страница
Възможно е всички ботове да блокират индексирането на страница и или да следват връзките на страницата. Този маркер обикновено се използва, когато сайтът на живо е в процес на разработка. След като сайтът е завършен, силно се препоръчва да премахнете този маркер. Ако не премахнете маркера, страницата ви няма да бъде индексирана или да може да се търси чрез търсачки.
- Можете да блокирате ботовете да индексират страницата и да следват някоя от връзките:
- Можете да блокирате всички ботове да индексират страницата:
- Можете да блокирате всички ботове да следват връзките на страницата:
Стъпка 3. Позволете на ботовете да индексират страница, но да не следват връзките й
Ако позволите на ботовете да индексират страницата, страницата ще бъде индексирана; ако попречите на паяците да следват връзките, пътят на връзката от тази конкретна страница към други страници ще се прекъсне. Вмъкнете следния ред код в заглавката си:
Стъпка 4. Нека паяците на търсачката следват връзките, но не индексират страницата
Ако позволите на ботовете да следват връзките, пътят на връзката от тази конкретна страница към други страници ще остане в такт; ако им ограничите индексирането на страницата, вашата уеб страница няма да се появи в индекса. Вмъкнете следния ред код в заглавката си:
Стъпка 5. Блокирайте една изходяща връзка
За да скриете една връзка на страница, вградете a отн маркер в тага на връзката. Може да искате да използвате този маркер, за да блокирате връзки на други страници, които водят до конкретната страница, която искате да блокирате.
Вмъкване на връзка към блокирана страница
Стъпка 6. Блокирайте конкретен паяк в търсачката
Вместо да блокирате всички ботове от вашата уеб страница, може да пожелаете да попречите на един бот да обхожда и индексира страницата. За да постигнете това, заменете „„ робот ““в мета маркера с името на конкретен бот. Примерите включват: googlebot, googlebot-news, googlebot-изображение, bingbot, и teoma.
Стъпка 7. Насърчете ботовете да обхождат и индексират вашата страница
Ако искате да сте сигурни, че страницата ви ще бъде индексирана и връзките й ще бъдат последвани, можете да вмъкнете follow-allow мета „робот“ маркирайте в заглавката си. Използвайте следния код:
