Файл robots.txt — це невеликий текстовий файл у кореневому каталозі вашого сайту, який вказує пошуковим роботам (Googlebot, Bingbot, Yandex та іншим), які сторінки вони можуть сканувати, а які ні. Правильно налаштований robots.txt — один із перших кроків технічного SEO, який напряму впливає на те, як пошукові системи індексують ваш сайт.
Навіщо потрібен robots.txt
Файл robots.txt виконує кілька важливих функцій:
- Управління краулінговим бюджетом — Google виділяє кожному сайту обмежену кількість сканувань за день. Robots.txt дозволяє направити бота на важливі сторінки замість технічних або дублікатів.
- Захист приватних розділів — закрийте від індексації адмін-панель, API-ендпоінти, тестові сторінки та службові директорії.
- Запобігання дублюванню — заблокуйте сторінки з параметрами фільтрації та сортування, які створюють тисячі дублів.
- Вказівка на карту сайту — вкажіть URL вашої XML-карти сайту, щоб боти швидше знайшли всі важливі сторінки.
Синтаксис robots.txt
Файл складається з простих директив:
- User-agent — визначає, до якого бота застосовується правило.
User-agent: *означає "всі боти". - Disallow — забороняє сканування вказаного шляху.
Disallow: /admin/закриє всю директорію. - Allow — дозволяє сканування конкретного шляху всередині забороненої директорії.
- Sitemap — вказує повний URL XML-карти сайту.
- Crawl-delay — встановлює затримку між запитами бота (підтримується не всіма пошуковими системами).
Типові помилки в robots.txt
Неправильна конфігурація може серйозно нашкодити SEO:
- Блокування CSS і JS файлів — Google потребує доступу до стилів і скриптів для коректного рендерингу сторінки. Заборона цих ресурсів може призвести до проблем з індексацією.
- Disallow: / — ця директива блокує ВСЕ сканування. Одна зайва косою рискою може повністю видалити сайт з індексу.
- Конфлікт Allow і Disallow — якщо правила суперечать одне одному, різні боти можуть інтерпретувати їх по-різному.
- Забуті тестові правила — після запуску сайту часто забувають видалити
Disallow: /, яке було додано на етапі розробки. - Неправильний шлях до файлу — robots.txt повинен знаходитися строго у корені домену:
https://example.com/robots.txt.
Як створити robots.txt за допомогою Xuvero
Наш Robots.txt генератор спрощує процес створення файлу:
- Оберіть базові правила — увімкніть або вимкніть доступ для всіх ботів одним кліком.
- Додайте шляхи Disallow — вкажіть директорії, які потрібно заблокувати: /admin/, /api/, /dashboard/, /tmp/.
- Вкажіть Sitemap URL — додайте посилання на XML-карту сайту.
- Скопіюйте результат — готовий файл robots.txt з'явиться у полі результату. Скопіюйте його та завантажте у кореневий каталог вашого сайту.
Шаблони robots.txt для різних CMS
- WordPress — заблокуйте /wp-admin/, /wp-includes/, /wp-json/, дозвольте /wp-admin/admin-ajax.php для коректної роботи плагінів.
- Laravel — закрийте /storage/, /vendor/, /nova/ (якщо використовуєте Nova), /telescope/.
- Інтернет-магазин — заблокуйте сторінки фільтрів (?sort=, ?filter=), кошик (/cart/), чекаут (/checkout/), особистий кабінет (/account/).
Robots.txt та безпека
Важливо пам'ятати: robots.txt — це рекомендація, а не захист. Файл є публічно доступним, і зловмисники можуть використовувати його, щоб знайти приховані розділи сайту. Для справжнього захисту використовуйте аутентифікацію, файрвол або мета-тег noindex.
Висновок
Правильно налаштований robots.txt — це фундамент технічного SEO. Він допомагає пошуковим системам ефективно сканувати ваш сайт, індексувати потрібні сторінки та ігнорувати непотрібні. Скористайтеся нашим безкоштовним генератором robots.txt, щоб створити правильний файл за хвилину — без помилок у синтаксисі.
