Générateur Robots.txt
Créez un fichier robots.txt pour votre site web. Contrôlez les moteurs de recherche, bloquez les bots IA et gérez les sitemaps.
⚠️ Entrez l'URL (https://example.com)
🕷️ Règle
Chemins courants à bloquer
Sitemaps
📄 robots.txt
💡 Téléversez ce fichier à la racine de votre site : https://yoursite.com/robots.txt
À propos de robots.txt
- • robots.txt indique aux robots des moteurs de recherche les parties du site qu’ils peuvent demander.
- • Le fichier ne fonctionne qu’à la racine du domaine : https://example.com/robots.txt.
- • Disallow: / bloque tout le site ; un Disallow: vide autorise tout.
- • Bloquer une URL ici ne la retire pas des résultats de recherche : utilisez noindex ou un mot de passe.
- • Les robots IA comme GPTBot et CCBot respectent robots.txt de leur plein gré : ce fichier est une demande, pas un verrou.
- • Une ligne Sitemap: doit contenir l’URL absolue complète du sitemap.
Générateur Robots.txt
Notre générateur gratuit Robots.txt vous aide à créer un fichier robots.txt correctement formaté. Configurez les règles, bloquez les crawlers IA, ajoutez des sitemaps.
Outils populaires
À propos de Générateur Robots.txt
Le générateur de robots.txt construit votre fichier de directives pour les robots d'exploration règle par règle : choisissez un User-agent, ajoutez des chemins Allow et Disallow, puis définissez un Crawl-delay ou une ou plusieurs URL de Sitemap. Des cases à cocher couvrent les chemins que les sites bloquent le plus souvent, comme /wp-admin/, /cart/ et /*.pdf$, et des préréglages gèrent l'autorisation totale, le blocage total, WordPress, l'e-commerce et le blocage des robots d'IA comme GPTBot, CCBot et anthropic-ai. Le fichier est assemblé dans votre navigateur et peut être copié ou téléchargé sous le nom robots.txt.
Cas d'utilisation
Comment utiliser
Partez d'un préréglage si l'un d'eux correspond à votre site : Tout autoriser, Tout bloquer, WordPress, Bloquer les robots d'IA ou E-commerce, puis retouchez le résultat obtenu.
Renseignez le champ URL du site avec votre domaine, par exemple https://example.com, afin que la ligne du sitemap soit construite à partir de celui-ci.
Dans chaque règle, choisissez un robot dans la liste déroulante User-Agent, puis utilisez + Ajouter Disallow et + Ajouter Allow pour saisir des chemins tels que /admin/ ; ajoutez d'autres robots avec + Ajouter une règle User-Agent.
Cochez des entrées sous Chemins courants à bloquer et cliquez sur Appliquer à la règle 1, puis réglez le Crawl Delay en secondes si vous souhaitez ralentir un robot.
Sous Sitemaps, laissez l'option Ajouter automatiquement /sitemap.xml cochée ou utilisez + Ajouter un sitemap pour lister d'autres URL de sitemap.
Contrôlez l'aperçu du robots.txt à droite, puis cliquez sur Télécharger ou Copier et déposez le fichier à la racine de votre domaine.
Astuces Pro
- Collez directement votre contenu : le Générateur de robots.txt reconnaît les formats de saisie courants et applique automatiquement des réglages adaptés.
- Utilisez les raccourcis clavier (Ctrl/Cmd+A pour tout sélectionner, Ctrl/Cmd+C pour copier) afin de gagner du temps dans le Générateur de robots.txt.
- Pour les saisies très volumineuses, découpez-les en morceaux : un onglet de navigateur encaisse en général plusieurs mégaoctets de texte, mais l'analyse de très gros contenus peut figer brièvement l'interface.
- Le Générateur de robots.txt n'enregistre ni ne conserve vos données. Si vous avez besoin d'un historique, copiez les résultats importants dans un fichier local ou une application de notes.
- Associez le Générateur de robots.txt aux autres outils du site (formateurs, convertisseurs, encodeurs) pour construire des chaînes de traitement complètes sans quitter votre navigateur.
Questions fréquemment posées
Oui, totalement gratuit : aucune inscription, aucune clé API, aucun filigrane et aucune limite d'utilisation.
Non. Le Générateur de robots.txt fonctionne intégralement côté client, dans votre navigateur. Vos données ne touchent jamais nos serveurs.
Il n'y a pas de limite stricte, mais attendez-vous à des ralentissements au-delà de quelques mégaoctets, selon la mémoire de votre appareil.
Oui. Les résultats produits avec le Générateur de robots.txt vous appartiennent : vous pouvez les utiliser librement dans tout projet personnel ou commercial.
L'essentiel de la logique s'exécute en JavaScript côté client : après le chargement initial, vous pouvez souvent continuer à travailler sans connexion réseau.
Aucune. Comme le Générateur de robots.txt s'exécute dans votre navigateur, vous pouvez traiter autant de contenus que votre matériel le permet, sans clé API ni bridage.