Tester e Analizzatore Robots.txt

Incolla il tuo robots.txt, inserisci un URL e scopri subito se è consentito o bloccato per un determinato crawler. Il tester segue le regole RFC 9309: vince il gruppo user-agent più specifico, vince il percorso corrispondente più lungo e in caso di parità Allow prevale su Disallow, con supporto a jolly * e ancora $ di fine URL. Una tabella mostra il verdetto per quindici bot diffusi, inclusi i crawler AI come GPTBot e ClaudeBot.

PrivatoGratisFunziona offline

Verificato da Vincenzo Manto, Fondatore e Lead Developer · Ultimo aggiornamento 30 settembre 2026

Come funziona

  1. 1

    Incolla il contenuto del tuo file robots.txt nella casella a sinistra.

  2. 2

    Inserisci un URL o un percorso e scegli uno user-agent come Googlebot.

  3. 3

    Leggi il verdetto e la regola che è stata applicata, poi consulta la tabella dei bot più comuni.

Esempio

robots.txt
User-agent: *
Disallow: /admin/
Allow: /admin/help.html

User-agent: GPTBot
Disallow: /
Verdicts
Googlebot  /admin/settings   -> Blocked
Googlebot  /admin/help.html  -> Allowed
GPTBot     /blog/post        -> Blocked

Come funziona la corrispondenza nel robots.txt

Un crawler sceglie il gruppo la cui riga User-agent corrisponde in modo più specifico al suo nome; solo se nessuno corrisponde passa al gruppo *. All'interno del gruppo ogni percorso Allow e Disallow viene confrontato con il percorso dell'URL, dove * corrisponde a qualsiasi sequenza di caratteri e $ ancora la fine dell'URL. Decide il pattern corrispondente più lungo e, se nessun pattern corrisponde, l'URL è consentito.

Errori comuni da evitare

Un Disallow: / sotto User-agent: * blocca l'intero sito, cosa che succede spesso quando un file di staging finisce in produzione. Bloccare le cartelle CSS o JavaScript può impedire a Google di renderizzare bene le pagine. Ricorda che ogni crawler legge solo il proprio gruppo, quindi le regole sotto * non si applicano a un bot che ha un gruppo più specifico.

Domande frequenti

Perché devo incollare il file invece di scaricarlo?

I browser bloccano le richieste cross-origin verso la maggior parte dei siti, quindi uno strumento lato client non può scaricare il robots.txt di un altro dominio. Apri tuosito.it/robots.txt, copia il contenuto e incollalo qui. In cambio non viene inviato nulla a nessun server.

Come vengono risolte le regole in conflitto?

Come da RFC 9309 e dall'implementazione di Google, vince la regola con il percorso corrispondente più lungo. Se Allow e Disallow hanno la stessa lunghezza, vince Allow.

Il robots.txt nasconde una pagina da Google?

Non in modo affidabile. Il robots.txt controlla la scansione, non l'indicizzazione: un URL bloccato può comunque essere indicizzato se altri siti lo linkano. Per escluderlo dai risultati usa noindex su una pagina scansionabile.

Posso bloccare i crawler AI?

Sì. Aggiungi un gruppo per il crawler, ad esempio User-agent: GPTBot seguito da Disallow: /. La tabella mostra come il tuo file tratta GPTBot, ClaudeBot, PerplexityBot e Google-Extended.

Strumenti correlati

Generatore e Validatore Tag Hreflang

Crea tag hreflang, header HTTP o sitemap XML per siti multilingua, con validazione.

Generatore Schema Markup (JSON-LD)

Genera dati strutturati JSON-LD per pagine FAQ, Local Business, How-to, Prodotto e Articolo.

Analizzatore Tag Open Graph e Anteprima Social

Incolla l'HTML di una pagina per vedere l'anteprima su Facebook, X e LinkedIn e trovare errori Open Graph.