Cos'è il robots.txt? Cosa bloccare e cosa consentire

C’è un minuscolo file di testo, lungo poche righe, che ha il potere di togliere l’intero sito da Google. È il robots.txt. Si trova nella radice del sito, è il primo posto che il bot di Google visita quando arriva, e una sola riga sbagliata può bloccare tutti i contenuti dai risultati di ricerca. Allo stesso tempo, se configurato bene, è uno strumento utile per guidare la scansione. Pochi file uniscono tanto potere a tanto rischio.

Questa guida spiega cos’è il robots.txt, cosa fa e cosa non fa, quali direttive funzionano davvero, la differenza cruciale tra bloccare e deindicizzare e come testare prima di pubblicare. Con modelli da adattare al tuo sito.

Cos’è il robots.txt?

Il robots.txt è un semplice file di testo nella radice del sito che dà ai bot dei motori di ricerca istruzioni su cosa possono o non possono scansionare. Quando il bot di Google arriva sul sito, questo file è la prima cosa che controlla, prima di qualsiasi pagina.

Il suo compito è guidare la scansione, non l’indicizzazione. La distinzione sembra sottile, ma è all’origine di quasi tutti gli errori gravi con il robots.txt, e ci torneremo nel dettaglio. Per ora ricorda che il robots.txt dice dove il bot può andare, non cosa deve o non deve mostrare nei risultati.

È un tassello centrale della SEO tecnica e lavora insieme al crawler, il bot che percorre il web. Se il crawler è il visitatore, il robots.txt è il cartello all’ingresso che dice quali corridoi sono aperti e quali chiusi.

Come funziona il robots.txt

Il file funziona con regole semplici che combinano tre elementi principali.

Il primo è lo user agent, che identifica a quale bot si applica una regola. Puoi creare regole per tutti i bot insieme o per uno specifico, come quello di Google. Nella maggior parte dei casi le regole valgono per tutti.

Il secondo è la direttiva disallow, che indica quali percorsi il bot non deve scansionare. È il modo per evitare che il bot perda tempo in aree irrilevanti del sito, come cartelle di sistema o pagine di funzioni interne.

Il terzo è la direttiva allow, che apre eccezioni all’interno di un’area bloccata. Si usa per dire “non entrare in questa cartella, tranne che per questo file specifico”.

Oltre a questi, il robots.txt di solito include l’indirizzo della sitemap XML, che aiuta il bot a trovare l’elenco completo delle pagine appena arriva. È una buona pratica che collega i due file in modo intelligente.

Un modello semplice e sicuro per la maggior parte dei siti è questo:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.tuosito.it/sitemap.xml

La differenza tra bloccare e deindicizzare

È il punto più importante della guida, e quello che causa la confusione più pericolosa. Bloccare nel robots.txt non equivale a togliere da Google.

Quando blocchi una pagina nel robots.txt impedisci al bot di scansionarla, cioè di leggerne il contenuto. Ma questo non la toglie necessariamente dai risultati. Se altri siti hanno link a quella pagina, Google può continuare a mostrarne l’indirizzo nei risultati senza riuscire a leggerne il contenuto, con un risultato vuoto e senza descrizione. È il peggio dei due mondi: la pagina compare come se fosse rotta e Google non sa cosa contiene.

Per togliere davvero una pagina dai risultati la strada è un’altra: un tag noindex specifico dentro la pagina stessa, che funziona solo se il bot può scansionare la pagina. Ed ecco la trappola: se blocchi la pagina nel robots.txt, il bot non legge mai il tag noindex e la rimozione non avviene. I due metodi si annullano a vicenda quando vengono usati insieme per errore.

La regola pratica: usa il robots.txt per risparmiare scansione sulle aree senza valore, e usa il tag noindex per togliere pagine specifiche dai risultati. Non affidarti mai al robots.txt per nascondere qualcosa dai risultati di ricerca.

L’errore che cancella un intero sito

C’è una configurazione che, aggiunta per errore, blocca tutto il sito in un colpo. È una direttiva che impedisce a ogni bot di scansionare ogni pagina:

User-agent: *
Disallow: /

Succede più spesso di quanto si pensi, per un motivo preciso: molti siti in sviluppo usano apposta questo blocco totale per non comparire su Google mentre vengono costruiti. Il problema è dimenticarsi di toglierlo quando il sito va online. Il sito viene lanciato, tutto sembra a posto, e settimane dopo si scopre che non è mai comparso su Google perché il blocco di sviluppo era ancora lì.

Per questo la prima cosa da controllare su qualsiasi sito appena lanciato, o che ha subito un calo di traffico inspiegabile, è il robots.txt. È una verifica di trenta secondi che può spiegare un disastro. È una voce obbligatoria in ogni audit SEO, proprio perché è un errore comune, grave e facile da non vedere.

Cosa includere e cosa no

Un buon robots.txt è snello. Meno regole ci sono, minore è la probabilità di errore.

Conviene bloccare le aree senza valore per la ricerca che sprecherebbero solo scansione, come le cartelle di amministrazione del sistema, le pagine di funzioni interne e le aree che generano contenuti duplicati inutili. Aiuta a indirizzare l’attenzione di Google verso ciò che conta.

Non conviene bloccare le pagine che vuoi togliere dai risultati perché, come abbiamo visto, il robots.txt non serve a questo. E non bisogna bloccare risorse di cui Google ha bisogno per capire la pagina, come certi file di stile e di script, perché senza di essi il bot può vedere una versione rotta del sito e valutarla male.

E, cosa fondamentale, non usare mai il robots.txt come strumento di sicurezza. Bloccare una cartella lì non la nasconde a chi vuole accedervi; chiede solo ai bot educati di non entrare. Le informazioni sensibili hanno bisogno di una protezione reale, non di una riga nel robots.txt.

Come testare prima di pubblicare

Dato il potere del file, testare prima di applicarlo non è facoltativo. Un errore qui costa caro.

Google Search Console offre strumenti per verificare come il bot interpreta il robots.txt e per testare se un URL specifico è bloccato o consentito. Prima di caricare qualsiasi modifica, simula lì il comportamento e conferma che le pagine importanti restano accessibili al bot.

Dopo la pubblicazione, controlla di nuovo. Apri direttamente nel browser l’indirizzo del robots.txt, che è sempre nello stesso punto, nella radice del sito seguita da robots.txt, e leggi il contenuto con calma. Conferma che nessuna regola blocchi ciò che deve restare aperto. Questa lettura finale di trenta secondi evita la maggior parte dei disastri.

Domande frequenti sul robots.txt

Ogni sito ha bisogno di un robots.txt?

Non è obbligatorio, ma è vivamente consigliato. Senza, il bot scansiona tutto ciò che trova, cosa che di solito funziona per i siti piccoli. Un robots.txt ben fatto ti dà il controllo sulla scansione ed evita sprechi, e fa la differenza man mano che il sito cresce.

Bloccare una pagina nel robots.txt la toglie da Google?

No, ed è la confusione più pericolosa. Il blocco impedisce al bot di leggere il contenuto, ma la pagina può comunque comparire nei risultati se ci sono link verso di lei, solo senza descrizione. Per toglierla davvero usa un tag noindex nella pagina stessa, senza bloccarla nel robots.txt.

Dove va messo il file robots.txt?

Sempre nella radice del sito, raggiungibile aggiungendo robots.txt dopo il dominio. Questa posizione è fissa: il bot di Google cerca sempre lì e da nessun’altra parte. Un robots.txt in qualsiasi altra cartella semplicemente non viene letto.

Posso avere un robots.txt su WordPress senza toccare il codice?

Sì. I principali plugin SEO permettono di modificare il robots.txt direttamente dal pannello di WordPress, senza accedere ai file del server. È la strada più sicura per la maggior parte degli utenti, perché riduce il rischio di errori di gestione.

Cosa succede se non ho un robots.txt?

Il bot presume di poter scansionare tutto. Per i siti piccoli e ben strutturati raramente è un problema. Per i siti grandi l’assenza del robots.txt può portare a sprecare scansione su pagine irrilevanti, lasciando meno attenzione ai contenuti che contano.

Devo includere la sitemap nel robots.txt?

Sì, è una buona pratica. Indicare la sitemap XML dentro il robots.txt aiuta il bot a trovare l’elenco completo delle pagine appena arriva, rafforzando ciò che hai già inviato tramite Search Console. È una sola riga semplice che migliora la scoperta.

Non lasciare che una riga di testo butti giù il sito

Il robots.txt è piccolo, ma il danno che provoca quando è configurato male è enorme. Un intero sito può diventare invisibile su Google per una sola regola dimenticata, e spesso la causa passa inosservata per settimane.

Richiedi un audit SEO a Malamute Digital e verifica che il tuo robots.txt consenta ciò che conta e blocchi solo ciò che deve, con la cura di un team che considera la SEO tecnica la base di tutto il resto.