Il file robots.txt รจ un piccolo file di testo nella directory principale del tuo sito che indica ai robot di ricerca (Googlebot, Bingbot, Yandex e altri) quali pagine possono e non possono scansionare. Un robots.txt configurato correttamente รจ uno dei primi passi nella SEO tecnica, che influisce direttamente sul modo in cui i motori di ricerca indicizzano il tuo sito.
Perchรฉ ti serve robots.txt
Il file robots.txt esegue diverse funzioni importanti:
- Gestione del budget di scansione - Google assegna un numero limitato di scansioni al giorno a ciascun sito. Robots.txt ti consente di indirizzare il bot a pagine importanti invece che a pagine tecniche o duplicate.
- Protezione delle sezioni private - chiudi il pannello di amministrazione, gli endpoint API, le pagine di test e le directory dei servizi dall'indicizzazione.
- Prevenzione dei duplicati - Blocca le pagine con opzioni di filtro e ordinamento che creano migliaia di duplicati.
- Sitemap Pointer - Includi l'URL della tua mappa del sito XML in modo che i bot possano trovare tutte le pagine importanti piรน velocemente.
Sintassi robots.txt
Il file รจ composto da semplici direttive:
- User-agent: definisce a quale bot si applica la regola.
User-agent: *significa "tutti i bot". - Disallow: impedisce la scansione del percorso specificato.
Disallow: /admin/chiuderร l'intera directory. - Consenti: consente la scansione di un percorso specifico all'interno di una directory vietata.
- Sitemap โ indica l'URL completo della mappa del sito XML.
- Crawl-delay: imposta il ritardo tra le richieste dei bot (non supportato da tutti i motori di ricerca).
Errori tipici nel file robots.txt
Incorrect configuration can seriously harm SEO:
- Blocco di file CSS e JS: Google ha bisogno di accedere a stili e script per il corretto rendering della pagina. Escludere queste risorse potrebbe causare problemi di indicizzazione.
- Disallow: / - Questa direttiva blocca TUTTE le scansioni. Una barra in piรน puรฒ rimuovere completamente un sito dall'indice.
- Conflitto tra Consenti e Non consenti: se le regole sono in conflitto tra loro, diversi bot potrebbero interpretarle in modo diverso.
- Regole di test dimenticate - dopo aver lanciato il sito, spesso dimenticano di rimuovere
Disallow: /, che รจ stato aggiunto durante la fase di sviluppo. - Percorso file errato โ robots.txt deve trovarsi rigorosamente alla radice del dominio:
https://example.com/robots.txt.
Come creare robots.txt con Xuvero
Il nostro Generatore Robots.txt semplifica il processo di creazione di un file:
- Seleziona regole di baseโ abilita o disabilita l'accesso per tutti i bot con un clic.
- Aggiungi percorsi Disallow - Specificare le directory da bloccare: /admin/, /api/, /dashboard/, /tmp/.
- Specifica l'URL della mappa del sito: aggiungi un collegamento alla mappa del sito XML.
- Copia il risultato: il file robots.txt pronto verrร visualizzato nel campo dei risultati. Copialo e caricalo nella directory principale del tuo sito.
Modelli Robots.txt per diversi CMS
- WordPress โ blocca /wp-admin/, /wp-includes/, /wp-json/, consenti a /wp-admin/admin-ajax.php il corretto funzionamento dei plugin.
- Laravel - chiudi /storage/, /vendor/, /nova/ (se usi Nova), /telescope/.
- Negozio online: blocca le pagine filtro (?sort=, ?filter=), carrello (/cart/), checkout (/checkout/), account personale (/account/).
Robots.txt e sicurezza
ร importante ricordare che robots.txt รจ una raccomandazione, non una protezione. Il file รจ disponibile pubblicamente e gli aggressori possono utilizzarlo per trovare sezioni nascoste del sito. Per una protezione reale, utilizza l'autenticazione, il firewall o il meta tag noindex.
Conclusione
Un robots.txt configurato correttamente รจ il fondamento del SEO tecnico. Aiuta i motori di ricerca a eseguire la scansione in modo efficiente del tuo sito, indicizzare le pagine giuste eignorare quelli inutili. Utilizza il nostro generatore gratuito di robots.txt per creare il file corretto in pochi minuti, senza errori di sintassi.
