Что такое robots.txt и как его создать?

файл robots.txtПриветствую вас, уважаемые читатели! В сайтостроение, как и в любом деле, есть свои маленькие, никому незаметные, но очень важные нюансы. В этой статье я расскажу вам как раз о таком нюансе: файл robots.txt.

В статье вы узнаете, что такое robots.txt и для чего он нужен, как правильно создать файл robots.txt

Что такое robots.txt и для чего он нужен?

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Проще говоря, этот текстовый файл, который расположен на хостинге вашего сайта, является администратором для роботов поисковых систем. Он показывает роботам, какие страницы можно и нужно вносить в выдачу поисковых запросов, какие страницы содержат полезную информацию для ваших посетителей, а какие лучше закрыть от общего доступа.

В процессе создания сайта мы будем добавлять не только новые статьи и создавать новые страницы, но также будем закачивать на хостинг какие-то файлы, которые тоже будут иметь свой url-адрес. Вот как раз такие файлы и не будут интересны нашим посетителям. Еще в  файле robots.txt указан путь до карты сайта  sitemap.xml. Если вы еще не сделали ее, то обязательно почитайте здесь, как это сделать.

Как создать файл robots.txt?

Для создания файла вам нужно открыть блокнот на вашем компьютере и скопировать вот эти строчки:

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /?s=

Allow: *?replytocom

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /?s=

Allow: *?replytocom

Host: site.ru

Sitemap: http:// site.ru /sitemap.xml.gz

Sitemap: http:// site.ru /sitemap.xml

Только не забудьте вместо site.ru написать свой сайт. Все готово! Осталось только сохранить этот файл и поместить его на хостинг вашего сайта.

Сохранять файл нужно с именем robots.txt. Как показано на картинке ниже.

файл robots.txt

Или вы можете сделать проще, просто скачать этот файл у меня на сайте.

<<<СКАЧАТЬ ФАЙЛ>>>

После скачивания не забудьте открыть этот файл и изменить ссылку на свой сайт.

Поместить этот файл нужно в корневую папку вашего сайта на сервере. Выглядит она примерно так:

файл robots.txt

Что касается содержания этого файла, то вы можете не волноваться. Там все правильно и в каких-то изменениях он не нуждается. Если вам станет интересно,  что там написано, то подробную информацию вы можете почитать здесь http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml.

На этом все. Если будут возникать какие-нибудь вопросы, задавайте их в комментариях. Не забывайте подписываться на обновления блога.

Получайте свежие новости сайта к себе на e-mail.
Чем дальше, тем интереснее! Будь в курсе!




Интересные статьи по теме:

2 комментариев к записи “Что такое robots.txt и как его создать?

  1. Виталий

    Очень важно правильно указать все параметры в Robot.txt. У меня было такое, что я не совсем точно указал один из параметров. и в результате мой сайт не индексировался яндексом. В файле был запрет на посещение сайта роботом. Прошлось долго разбираться, пока я не нашел готовый файл, подставил свои данные и все стало нормально.

  2. Олег

    Согласен! создавать файл robots.txt нужно крайне осторожно. Да и время от времени нужно читать новости поисковых систем. Что-то меняется, что-то новое появляется и наоборот убирается в их алгоритмах и как следствие все это может влиять, в том числе и на индексацию сайта.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *