Generatore Robots.txt
Crea un file robots.txt per il tuo sito web. Controlla quali motori di ricerca possono scansionare le tue pagine.
⚠️ Inserisci URL (https://example.com)
🕷️ Regola
Percorsi comuni da bloccare
Sitemap
📄 robots.txt
💡 Carica questo file nella radice del tuo sito: https://yoursite.com/robots.txt
Informazioni su robots.txt
- • robots.txt indica ai crawler dei motori di ricerca quali parti del sito possono richiedere.
- • Il file funziona solo nella radice del dominio: https://example.com/robots.txt.
- • Disallow: / blocca l’intero sito; un Disallow: vuoto consente tutto.
- • Bloccare un URL qui non lo rimuove dai risultati di ricerca: per questo servono noindex o una password.
- • I crawler IA come GPTBot e CCBot rispettano robots.txt volontariamente: il file è una richiesta, non un lucchetto.
- • Una riga Sitemap: deve contenere l’URL assoluto completo della sitemap.
Generatore Robots.txt
Il nostro generatore gratuito di Robots.txt ti aiuta a creare un file robots.txt formattato correttamente.
Strumenti popolari
Informazioni su Generatore Robots.txt
Il Generatore di robots.txt costruisce il file di direttive per i crawler una regola alla volta: scegli uno User-agent, aggiungi i percorsi Allow e Disallow, poi imposta un Crawl-delay o uno o più URL di Sitemap. Le caselle di spunta coprono i percorsi che i siti bloccano più spesso, come /wp-admin/, /cart/ e /*.pdf$, mentre i preset gestiscono consenti tutto, blocca tutto, WordPress, e-commerce e il blocco dei crawler AI come GPTBot, CCBot e anthropic-ai. Il file viene assemblato nel tuo browser e può essere copiato o scaricato come robots.txt.
Casi d'uso
Come usare
Parti da un preset se ce n'è uno adatto al tuo sito: Allow All, Block All, WordPress, Block AI Bots o E-commerce, poi modifica il risultato.
Compila il campo Site URL con il tuo dominio, ad esempio https://example.com, così la riga della sitemap potrà essere generata da lì.
In ogni regola scegli un crawler dal menu a tendina User-Agent, poi usa + Add Disallow e + Add Allow per inserire percorsi come /admin/; aggiungi altri crawler con + Add User-Agent Rule.
Spunta le voci sotto Common Paths to Block e premi Apply to Rule 1; imposta Crawl Delay in secondi se vuoi rallentare un crawler.
Nella sezione Sitemaps lascia spuntata l'opzione Auto-add /sitemap.xml oppure usa + Add Sitemap per elencare altri URL di sitemap.
Controlla l'anteprima del robots.txt sulla destra, poi fai clic su Download o Copy e carica il file nella cartella principale del tuo dominio.
Suggerimenti Pro
- Incolla il contenuto direttamente: il Generatore di robots.txt riconosce i formati di input più comuni e applica automaticamente le impostazioni predefinite più sensate.
- Usa le scorciatoie da tastiera (Ctrl/Cmd+A per selezionare tutto, Ctrl/Cmd+C per copiare) per velocizzare il lavoro nel Generatore di robots.txt.
- Se l'input è molto grande, suddividilo in blocchi: la maggior parte delle schede del browser gestisce megabyte di testo, ma l'analisi di payload enormi può bloccare l'interfaccia per qualche istante.
- Il Generatore di robots.txt non registra né conserva i dati che inserisci. Se ti serve uno storico, copia i risultati importanti in un file locale o in un'app per appunti.
- Combina il Generatore di robots.txt con gli altri strumenti del sito (formattatori, convertitori, encoder) per creare pipeline di dati complete senza uscire dal browser.
Domande frequenti
Sì, è completamente gratuito: nessuna registrazione, nessuna chiave API, nessun watermark e nessun limite di utilizzo.
No. Il Generatore di robots.txt funziona interamente lato client, nel tuo browser. I dati che inserisci non passano mai dai nostri server.
Non c'è un limite rigido, ma oltre qualche megabyte è normale notare dei rallentamenti, a seconda della memoria del tuo dispositivo.
Sì. I risultati generati con il Generatore di robots.txt sono tuoi e puoi usarli liberamente in qualsiasi progetto personale o commerciale.
Gran parte della logica gira in JavaScript lato client, quindi dopo il caricamento iniziale spesso puoi continuare a lavorare senza connessione di rete.
Nessuno. Dato che il Generatore di robots.txt funziona nel tuo browser, puoi elaborare tutti gli input che il tuo hardware consente, senza chiavi API né rallentamenti imposti.