Файл robots.txt допомагає керувати скануванням сайту пошуковими роботами: з його допомогою можна закрити від обходу службові розділи та вказати розташування XML-карт сайту. Водночас robots.txt не є засобом захисту сайту й не гарантує видалення URL із пошукової видачі.
У Joomla 5 і 6 базова конфігурація robots.txt уже враховує структуру CMS. У більшості випадків її не потрібно ускладнювати десятками додаткових правил — важливіше не закрити від пошукових систем корисні сторінки та ресурси, необхідні для коректного відображення сайту.
Що робить robots.txt і чого він не робить
Robots.txt — це звичайний текстовий файл у корені сайту. Він повідомляє пошуковим роботам, які URL або розділи дозволено чи заборонено сканувати.
Важливо розрізняти сканування та індексування. Директива Disallow забороняє роботу запитувати вказаний шлях, але сама по собі не є надійним способом видалити сторінку з результатів пошуку. Якщо URL уже відомий пошуковій системі із зовнішніх або внутрішніх посилань, у деяких випадках він може залишитися в індексі без повноцінного опису.
Якщо сторінку потрібно саме виключити з пошуку, зазвичай застосовується noindex. При цьому робот повинен мати змогу відкрити сторінку й побачити цю директиву, тому одночасно закривати такий URL через robots.txt не слід.
Де знаходиться robots.txt у Joomla
Робочий файл має бути доступний за адресою:
https://example.com/robots.txtТобто він розміщується в кореневій директорії домену й повинен називатися саме robots.txt.
У дистрибутиві Joomla також є файл robots.txt.dist. Це базовий шаблон, з яким зручно порівнювати робочий robots.txt після оновлень CMS.
Стандартний robots.txt для Joomla 5 і 6
У сучасних версіях Joomla базовий robots.txt.dist містить компактний набір правил для службових каталогів:
User-agent: *
Disallow: /administrator/
Disallow: /api/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/Ці правила закривають від сканування службові каталоги Joomla. Зверніть увагу, що тут немає заборони для /media/ і /templates/. Не варто автоматично переносити в Joomla 5 або 6 старі набори правил з інструкцій для Joomla 2.5 чи 3, особливо якщо вони блокують CSS, JavaScript, зображення та інші ресурси, необхідні для відображення сторінок.
Основні директиви robots.txt
User-agent
Визначає, до яких пошукових роботів належать наступні правила.
User-agent: *Зірочка означає, що група правил застосовується до всіх роботів, які підтримують стандарт robots.txt.
Disallow
Забороняє сканування вказаного шляху:
Disallow: /administrator/Це не робить каталог недоступним для відвідувачів і не є способом захисту адміністративної панелі. Директива призначена саме для пошукових роботів.
Allow
Дозволяє сканування шляху всередині ширшого забороненого розділу. У простому robots.txt Joomla ця директива зазвичай не потрібна. Наприклад, рядок Allow: / зайвий, якщо інші правила й так не забороняють сканування публічної частини сайту.
Sitemap
Вказує повний URL XML-карти сайту. У robots.txt можна прописати кілька рядків Sitemap, що зручно для багатомовних сайтів.
Чи потрібен Crawl-delay
У старих конфігураціях robots.txt часто зустрічається такий рядок:
Crawl-delay: 3Для Google він не потрібен: Googlebot не використовує цю директиву. Тому додавати її лише заради Google немає сенсу.
Якщо пошуковий робот створює надто велике навантаження, проблему краще діагностувати за статистикою сканування та станом сервера, а не копіювати універсальні значення Crawl-delay зі старих інструкцій.
Робочий приклад robots.txt для Joomla
На StimylRosta використовується Joomla 5.4.7 і багатомовна структура сайту. Після перевірки стандартного robots.txt.dist робочий файл було приведено до базової конфігурації Joomla та доповнено двома XML-картами OSMap — для російської й української версій.
User-agent: *
Disallow: /administrator/
Disallow: /api/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Sitemap: https://stimylrosta.com.ua/component/osmap/?view=xml&id=1&format=xml
Sitemap: https://stimylrosta.com.ua/uk/component/osmap/?view=xml&id=1&format=xmlТут немає окремого Allow: /, немає Crawl-delay і немає великого набору винятків для CSS, JavaScript та зображень. За основу взято стандартну структуру Joomla, а специфічну частину зведено до реальних адрес Sitemap.
Як додати Sitemap до robots.txt
Joomla сама по собі не зобов’язана створювати карту за адресою /sitemap.xml. Якщо карта генерується розширенням, у robots.txt потрібно вказувати її реальний робочий URL, а не передбачувану адресу.
На StimylRosta XML-карти формує компонент OSMap Free. В адміністративній панелі він доступний через меню Компоненти → OSMap Free.
У списку карт OSMap для багатомовного сайту доступні окремі XML-представлення російської та української версій. Саме ці реальні URL слід використовувати в robots.txt і надсилати до Google Search Console.
Зверніть увагу на схожі шляхи /components/ і /component/. Стандартне правило Joomla:
Disallow: /components/закриває службовий каталог /components/, але не забороняє SEF-маршрут OSMap /component/osmap/, тому XML-карта залишається доступною.
Як перевірити robots.txt і Sitemap
Після зміни robots.txt спочатку відкрийте його безпосередньо в браузері за адресою https://ваш-домен/robots.txt. Перевірте, що файл віддається без помилки та містить очікувані правила.
XML-карти слід додати до розділу Файли Sitemap Google Search Console. Якщо сайт багатомовний і використовуються окремі карти для мов, їх зручно надсилати окремо.
На момент оновлення цієї інструкції обидві XML-карти StimylRosta успішно обробляються Google Search Console: окремо для російської та української версій сайту.
Типові помилки під час налаштування robots.txt у Joomla
- Блокувати сторінки, які потрібно виключити з індексу. Для цього robots.txt підходить не завжди; частіше потрібен
noindex. - Закривати CSS і JavaScript без потреби. Це може заважати пошуковому роботу коректно відтворювати й аналізувати сторінку.
- Копіювати robots.txt зі старої версії Joomla. Структура CMS змінюється, тому краще звірятися з актуальним
robots.txt.dist. - Вказувати неіснуючий Sitemap. Перед додаванням URL до robots.txt обов’язково відкрийте XML-карту в браузері.
- Використовувати Crawl-delay як універсальний засіб. Для Google ця директива не потрібна.
- Вважати robots.txt засобом безпеки. Він не забороняє користувачеві відкрити URL і не замінює серверний захист.
- Закрити потрібний URL через Disallow і водночас встановити на ньому noindex. Якщо робот не може відкрити сторінку, він не побачить noindex.
Підсумки
Для Joomla 5 і 6 краще починати не з величезного списку SEO-директив, а зі стандартного robots.txt Joomla. Базовий файл уже закриває основні службові каталоги, а індивідуальні зміни слід додавати лише тоді, коли для них є конкретна причина.
Для звичайного Joomla-сайту достатньо перевірити актуальність правил, не блокувати важливі ресурси та додати реальні URL XML-карт сайту. Після зміни конфігурації robots.txt і Sitemap їх слід перевірити через браузер і Google Search Console.
