Как составить правильный robots.txt
(5 всего голосов, средняя оценка: 3,20 из 5)
Приветствую, друзья! Robots.txt — это очень важный файл, который влияет на индексацию страниц сайта поисковыми роботами. Многие составляют его неправильно, запрещая индексирование нужных страниц и разрешая индексирование тех страниц, которые не должны попадать в индекс.
Что такое Robots.txt?
Robots.txt — это файл, содержащий список правил, которые разрешают и запрещают индексирование определенных страниц и категорий сайта отдельным поисковым системам. Для каждой поисковой системы правила индивидуальны, хотя в чем-то они схожи.
Как составить правильный Robots.txt?
Не нужно изобретать велосипед, все возможные варианты написания robots.txt опубликованы в интернете. Писать, как правильно составить robots не имеет смысла. Хочу только отметить, что в этом файле нужно запретить все адреса, связанные с CMS сайта (WordPress, Joomla, DLE и т.д.) и с файлами темы или шаблона. Также следует запретить индексацию стандартных ссылок CMS, чтобы не было дублей в индексе поисковых систем.
Итак, в файле robots.txt запрещают индексирование файлов CMS и темы, комментариев, rss ленты и трекбека. Как я уже говорил, в интернете можно найти готовые файлы robots.txt.
Остальные можно найти на просторах интернета. P.S. не забудьте изменить адрес сайта и адрес карты сайта.
Как запретить или разрешить индексацию определенной страницы сайта?
Чтобы запретить индексацию определенной страницы нужно написать соответствующее правило. Образец: Disallow: /адрес страницы или категории
Если нужно разрешить индексацию, то следует написать: Allow: /адрес страницы или категории
Где находится и как загрузить Robots.txt на сайт?
Файл Robots.txt находится по адресу ваш_сайт.ru/robots.txt. Загружать его нужно в корень сайта. Сделать это можно с помощью FTP клиента или встроенного загрузчика в панели хостинг-компании. Лично для меня удобен первый вариант, так как не требует особых знаний и не нужно авторизовываться через административную панель.
Вот и все! Теперь вы знаете, каким должен быть правильный файл robots.txt и как его составить.