Правильный robots.txt для Joomla

Категория: SEO Опубликовано: 18.07.2016

правильный robot.txt для joomlaИндексация сайта и ее зависимость от файла robots.txt

После того как сайт на CMS Joomla будет перенесен на хостинг следует задуматься о его оптимизации. Хорошее индексирование страниц поспособствует ускоренному появлению web-ресурса в поиске. Именно от файла robots.txt зависит, какие разделы будут проиндексированы в конечном результате. Тот файл, который идет в комплекте с движком Джумла довольно неплохой, но слегка подкорректировав его, можно добиться лучшей индексации сайта.

Что это такое robots.txt и его местонахождение

Robots.txt для Joomla находится в корневой директории сайта. Этот текстовый файл очень важен, поскольку отвечает за индексирование интернет-ресурса, которое осуществляется с помощью поисковых роботов. Грамотно составленный робот, в скором будущем может поспособствовать высокоэффективному продвижению сайта.

Файл robots.txt можно создать самому, все что для этого нужно это текстовый редактор, к примеру Notepad ++ или Sublime Text 3. В написании скриптов нет ничего пугающего и заумного, следуя данному посту, вам удастся собственноручно собрать или подправить свой первый текстовый файл для Joomla.

После того как robots.txt будет создан, следует проверить его на наличие ошибок, воспользовавшись одним из сервисов – Яндекс.Вебмастер или Search Console (Гугл Вебмастер). Одобрительный результат говорит о том, что файл не содержит в себе ошибок и пригоден для дальнейшей эксплуатации на сайте.

проверка файла robot.txt на наличие ишибок

анализ файла robot.txt

Некоторые вебмастера не заморачиваются на эту тему, оставляя файл robots.txt пустым или еще хуже - этот важный текстовый документ  вообще отсутствует на интернет-ресурсе. Такая халатность может обернуться неудовлетворительным результатом в поисковой выдачи, так как с помощью этого файла можно запретить индексацию дублирующих страниц, которые плохо влияют на продвижение. В процессе посещения сайта необнаруженный поисковиками robots.txt сообщает роботам о том, что разрешено осуществлять полную проверку документов.

Для того чтобы ознакомиться какой robots.txt находится на том или ином ресурсе, достаточно в адресной строке к главному домену добавить приставку в виде /robots.txt.

Ключевые директивы в файле robots.txt и их предназначение

Директива – общее указание, специальная команда для поисковых роботов.

User-agent: * - основная директива, стоящая в начале текстового файла. Она указывает поисковым роботам, какие пути дозволено индексировать. Звездочка говорит о том, что приведенные команды распространяются абсолютно на всех поисковых роботов в независимости от браузера.

Поисковые роботы Яндекса более требовательны и капризны, поэтому рекомендуется помимо ключевой директивы User-agent: * прописывать дополнительные строчки для этого браузера, а именно - User-agent: Yandex. Роботы, увидевшие эту строку, автоматически игнорируют User-agent: *.

Disallow – указывает о запрете индексирования конкретного раздела.

Allow – допускает роботов к проверке сайта или указанных разделов.

Sitemap – не менее важная директива на сайте Joomla, сообщающая поисковым ботам о месте нахождении карты сайта и указывает корректные адреса на свежий материал. Структурированные данные указываются в формате XML.

Host – исключает возможность возникновения зеркал сайта. С помощью этой директивы можно задать основное имя сайта, с www или без. Следует учесть, что не стоит перегружать файл лишними строками, добавляя одну и ту же директиву Host, так как роботы будут учитывать только первую. Вот вам наглядный пример директивы - Host: mysite.com.ua.

Crawl-delay – сообщает поисковым роботам время сессии, то есть возникшее «окно» между концом закачки страницы и началом следующей загрузки.

Файл robots.txt моего сайта на движке Джумла выглядит следующим образом.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /404
Disallow: /?limit*
Disallow: /?format*
Disallow: /?start*
Allow: /images/
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /templates/*.png
Allow: /templates/*.gif
Allow: /templates/*.ttf
Allow: /templates/*.svg
Allow: /templates/*.woff
Allow: /components/*.css
Allow: /components/*.js
Allow: /components/*.gif
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.gif
Allow: /modules/*.css
Allow: /modules/*.js
Allow: /modules/*.png
Allow: /cache/*.jpg

User-agent: Yandex
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /404
Disallow: /?limit*
Disallow: /?format*
Disallow: /?start*
Allow: /images/
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /templates/*.png
Allow: /templates/*.gif
Allow: /templates/*.ttf
Allow: /templates/*.svg
Allow: /templates/*.woff
Allow: /components/*.css
Allow: /components/*.js
Allow: /components/*.gif
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.gif
Allow: /modules/*.css
Allow: /modules/*.js
Allow: /modules/*.png
Allow: /cache/*.jpg
Host: stimylrosta.com.ua
Sitemap: http://stimylrosta.com.ua/index.php?option=com_osmap&view=xml&tmpl=component&id=1

Внесенные директивы в отличии от стандартных установок robots.txt Joomla позволяют поисковикам осуществлять индексацию изображений и css,  js стилей. Указано основное доменное имя и карта сайта. А также установлен запрет проверки несуществующей страницы - Disalow: /404.

Кроме того мне удалось избавиться от страниц с запрещенными ресурсами об которых так яростно сообщалось в панели Гугл вебмастера.

В моем роботсе разрешена индексация всех статических файлов. Это сделано намеренно, и теперь в мобильной версии сайта корректно отображается структура, стили и другие важные элементы.

Если есть какие-то соображения по поводу усовершенствования файла, выкладывайте в комментариях.

Спасибо за внимание и до скорых встреч на страницах Stimylrosta.

Не ленитесь, поделитесь!

Оставить комментарий

Просмотров: 1391

Добавить комментарий


Защитный код
Обновить

X

Добро пожаловать!

Видимо вы используете браузерное расширение AdBlock, отвечающее за блокировку рекламы. Этот веб-проект существует и развивается за счет рекламных объявлений. Пожалуйста, внесите его в белый список. Заранее премного благодарен. Как отключить AdBlock

Читайте также

Как подобрать ключевые слова

Как подобрать ключевые слова

Подробнее
Как изменить цвет ссылки в HTML

Как изменить цвет ссылки в HTML

Подробнее
Экранная линейка mySize - бесплатная программа для веб-разработчиков и дизайнеров

Экранная линейка mySize - бесплатная программа для веб-разработчиков и дизайнеров

Подробнее
Как сделать скриншот экрана

Как сделать скриншот экрана

Подробнее