Правильный robots.txt для Joomla

Индексация сайта и ее зависимость от файла robots.txt

После того как сайт на CMS Joomla будет перенесен на хостинг следует задуматься о его оптимизации. Хорошее индексирование страниц поспособствует ускоренному появлению web-ресурса в поиске. Именно от файла robots.txt зависит, какие разделы будут проиндексированы в конечном результате. Тот файл, который идет в комплекте с движком Джумла довольно неплохой, но слегка подкорректировав его, можно добиться лучшей индексации сайта.

Что это такое robots.txt и его местонахождение

Robots.txt для Joomla находится в корневой директории сайта. Этот текстовый файл очень важен, поскольку отвечает за индексирование интернет-ресурса, которое осуществляется с помощью поисковых роботов. Грамотно составленный робот, в скором будущем может поспособствовать высокоэффективному продвижению сайта.

Файл robots.txt можно создать самому, все что для этого нужно это текстовый редактор, к примеру Notepad ++ или Sublime Text 3. В написании скриптов нет ничего пугающего и заумного, следуя данному посту, вам удастся собственноручно собрать или подправить свой первый текстовый файл для Joomla.

После того как robots.txt будет создан, следует проверить его на наличие ошибок, воспользовавшись одним из сервисов – Яндекс.Вебмастер или Search Console (Гугл Вебмастер). Одобрительный результат говорит о том, что файл не содержит в себе ошибок и пригоден для дальнейшей эксплуатации на сайте.

Некоторые вебмастера не заморачиваются на эту тему, оставляя файл robots.txt пустым или еще хуже - этот важный текстовый документ  вообще отсутствует на интернет-ресурсе. Такая халатность может обернуться неудовлетворительным результатом в поисковой выдачи, так как с помощью этого файла можно запретить индексацию дублирующих страниц, которые плохо влияют на продвижение. В процессе посещения сайта необнаруженный поисковиками robots.txt сообщает роботам о том, что разрешено осуществлять полную проверку документов.

Для того чтобы ознакомиться какой robots.txt находится на том или ином ресурсе, достаточно в адресной строке к главному домену добавить приставку в виде /robots.txt.

Ключевые директивы в файле robots.txt и их предназначение

Директива – общее указание, специальная команда для поисковых роботов.

User-agent: * - основная директива, стоящая в начале текстового файла. Она указывает поисковым роботам, какие пути дозволено индексировать. Звездочка говорит о том, что приведенные команды распространяются абсолютно на всех поисковых роботов в независимости от браузера.

Поисковые роботы Яндекса более требовательны и капризны, поэтому рекомендуется помимо ключевой директивы User-agent: * прописывать дополнительные строчки для этого браузера, а именно - User-agent: Yandex. Роботы, увидевшие эту строку, автоматически игнорируют User-agent: *.

Disallow – указывает о запрете индексирования конкретного раздела.

Allow – допускает роботов к проверке сайта или указанных разделов.

Sitemap – не менее важная директива на сайте Joomla, сообщающая поисковым ботам о месте нахождении карты сайта и указывает корректные адреса на свежий материал. Структурированные данные указываются в формате XML.

Host – исключает возможность возникновения зеркал сайта. С помощью этой директивы можно задать основное имя сайта, с www или без. Следует учесть, что не стоит перегружать файл лишними строками, добавляя одну и ту же директиву Host, так как роботы будут учитывать только первую. Вот вам наглядный пример директивы - Host: mysite.com.ua.

Crawl-delay – сообщает поисковым роботам время сессии, то есть возникшее «окно» между концом закачки страницы и началом следующей загрузки.

Файл robots.txt моего сайта на движке Джумла выглядит следующим образом.

Внесенные директивы в отличии от стандартных установок robots.txt Joomla позволяют поисковикам осуществлять индексацию изображений и css,  js стилей. Указано основное доменное имя и карта сайта. А также установлен запрет проверки несуществующей страницы - Disalow: /404.

Кроме того мне удалось избавиться от страниц с запрещенными ресурсами об которых так яростно сообщалось в панели Гугл вебмастера.

В моем роботсе разрешена индексация всех статических файлов. Это сделано намеренно, и теперь в мобильной версии сайта корректно отображается структура, стили и другие важные элементы.

Если есть какие-то соображения по поводу усовершенствования файла, выкладывайте в комментариях.

Спасибо за внимание и до скорых встреч на страницах Stimylrosta.

Понравилась статья? Угостите админа шаурмой и кофе.

Отправить