Plik robots.txt to mały plik tekstowy w katalogu głównym Twojej witryny, który informuje roboty wyszukujące (Googlebot, Bingbot, Yandex i inne), które strony mogą, a których nie mogą indeksować. Prawidłowo skonfigurowany plik robots.txt to jeden z pierwszych kroków technicznego SEO, który bezpośrednio wpływa na sposób, w jaki wyszukiwarki indeksują Twoją witrynę.
Dlaczego potrzebujesz pliku robots.txt
Plik robots.txt spełnia kilka ważnych funkcji:
- Zarządzanie budżetem indeksowania — Google przydziela każdej witrynie ograniczoną liczbę indeksowań dziennie. Plik Robots.txt umożliwia kierowanie bota do ważnych stron zamiast do stron technicznych lub zduplikowanych.
- Ochrona sekcji prywatnych - zamknij panel administracyjny, punkty końcowe API, strony testowe i katalogi usług przed indeksowaniem.
- Zapobieganie duplikatom - Blokuj strony z opcjami filtrowania i sortowania, które tworzą tysiące duplikatów.
- Wskaźnik mapy witryny - Dołącz adres URL mapy witryny XML, aby boty mogły szybciej znaleźć wszystkie ważne strony.
Składnia robots.txt
Plik składa się z prostych dyrektyw:
- User-agent — określa, którego bota dotyczy reguła.
User-agent: *oznacza „wszystkie boty”. - Disallow — zabrania skanowania określonej ścieżki.
Disallow: /admin/zamknie cały katalog. - Allow — umożliwia skanowanie określonej ścieżki w zabronionym katalogu.
- Sitemap — wskazuje pełny adres URL mapy witryny XML.
- Crawl-delay — ustawia opóźnienie między żądaniami botów (nie jest obsługiwane przez wszystkie wyszukiwarki).
Typowe błędy w pliku robots.txt
Nieprawidłowa konfiguracja może poważnie zaszkodzić SEO:
- Blokowanie plików CSS i JS — Google potrzebuje dostępu do stylów i skryptów, aby zapewnić prawidłowe renderowanie strony. Zablokowanie tych zasobów może spowodować problemy z indeksowaniem.
- Disallow: / — ta dyrektywa blokuje WSZYSTKIE skanowania. Jeden dodatkowy ukośnik może całkowicie usunąć witrynę z indeksu.
- Konflikt zezwolenia i zakazu — jeśli reguły są ze sobą sprzeczne, różne boty mogą je różnie interpretować.
- Zapomniane zasady testów - po uruchomieniu witryny często zapominają usunąć
Disallow: /, który został dodany na etapie rozwoju. - Nieprawidłowa ścieżka pliku — plik robots.txt musi znajdować się ściśle w katalogu głównym domeny:
https://example.com/robots.txt.
Jak utworzyć plik robots.txt za pomocą Xuvero
Nasz Generator Robots.txt upraszcza proces tworzenia pliku:
- Wybierz zasady podstawowe— włącz lub wyłącz dostęp dla wszystkich botów jednym kliknięciem.
- Add Disallow paths - Określ katalogi do zablokowania: /admin/, /api/, /dashboard/, /tmp/.
- Określ adres URL mapy witryny — dodaj łącze do mapy witryny XML.
- Skopiuj wynik - w polu wynikowym pojawi się gotowy plik robots.txt. Skopiuj go i prześlij do katalogu głównego swojej witryny.
Szablony pliku Robots.txt dla różnych systemów CMS
- WordPress — blok /wp-admin/, /wp-includes/, /wp-json/, zezwala na /wp-admin/admin-ajax.php, aby wtyczki działały poprawnie.
- Laravel - zamknij /storage/, /vendor/, /nova/ (jeśli używasz Nova), /teleskop/.
- Sklep internetowy — blokowanie stron filtrów (?sort=, ?filter=), koszyka (/cart/), kasy (/checkout/), konta osobistego (/account/).
Robots.txt i bezpieczeństwo
Warto pamiętać, że plik robots.txt to rekomendacja, a nie ochrona. Plik jest publicznie dostępny i osoby atakujące mogą go wykorzystać do znalezienia ukrytych sekcji witryny. Aby zapewnić prawdziwą ochronę, użyj uwierzytelniania, zapory ogniowej lub metatagu noindex.
Wniosek
Prawidłowo skonfigurowany plik robots.txt to podstawa technicznego SEO. Pomaga wyszukiwarkom efektywnie indeksować Twoją witrynę, indeksować właściwe strony iignoruj niepotrzebne. Skorzystaj z naszego bezpłatnego generatora pliku robots.txt, aby utworzyć poprawny plik w ciągu kilku minut — bez błędów składniowych.
