Robots.txt-Generator
Erstellen Sie eine robots.txt-Datei für Ihre Website. Steuern Sie Suchmaschinen-Crawler und blockieren Sie KI-Bots.
⚠️ URL eingeben (https://example.com)
🕷️ Regel
Häufig gesperrte Pfade
Sitemaps
📄 robots.txt
💡 Laden Sie diese Datei in das Stammverzeichnis Ihrer Website hoch: https://yoursite.com/robots.txt
Über robots.txt
- • robots.txt teilt Suchmaschinen-Crawlern mit, welche Teile einer Website sie abrufen dürfen.
- • Die Datei wirkt nur im Stammverzeichnis der Domain: https://example.com/robots.txt.
- • Disallow: / sperrt die gesamte Website; ein leeres Disallow: erlaubt alles.
- • Eine hier gesperrte URL verschwindet nicht aus den Suchergebnissen — dafür brauchen Sie noindex oder ein Passwort.
- • KI-Crawler wie GPTBot und CCBot befolgen robots.txt freiwillig; die Datei ist eine Bitte, kein Schloss.
- • Eine Sitemap:-Zeile muss die vollständige absolute URL der Sitemap enthalten.
Robots.txt-Generator
Unser kostenloser Robots.txt-Generator hilft Ihnen, eine korrekt formatierte robots.txt-Datei zu erstellen.
Beliebte Werkzeuge
Über Robots.txt-Generator
Der Robots.txt-Generator baut die Datei mit den Crawler-Anweisungen Regel für Regel auf: User-agent wählen, Allow- und Disallow-Pfade ergänzen, dann Crawl-delay oder eine bzw. mehrere Sitemap-URLs festlegen. Checkboxen decken die Pfade ab, die Websites üblicherweise sperren, etwa /wp-admin/, /cart/ und /*.pdf$, und Vorlagen erledigen alles erlauben, alles sperren, WordPress, E-Commerce sowie das Aussperren von KI-Crawlern wie GPTBot, CCBot und anthropic-ai. Die Datei entsteht in Ihrem Browser und lässt sich kopieren oder als robots.txt herunterladen.
Anwendungsfälle
Anleitung
Beginnen Sie mit einer Vorlage, falls eine zu Ihrer Website passt: Alles erlauben, Alles sperren, WordPress, KI-Bots sperren oder E-Commerce – und passen Sie das Ergebnis anschließend an.
Tragen Sie unter „Website-URL“ Ihre Domain ein, zum Beispiel https://example.com, damit daraus die Sitemap-Zeile erzeugt werden kann.
Wählen Sie in jeder Regel über das User-Agent-Dropdown einen Crawler aus und tragen Sie dann mit „+ Disallow hinzufügen“ und „+ Allow hinzufügen“ Pfade wie /admin/ ein; weitere Crawler ergänzen Sie mit „+ User-Agent-Regel hinzufügen“.
Haken Sie unter „Häufig gesperrte Pfade“ die gewünschten Einträge an und klicken Sie auf „Auf Regel 1 anwenden“; mit „Crawl-Delay“ legen Sie in Sekunden fest, wie stark ein Crawler gebremst wird.
Lassen Sie unter „Sitemaps“ die Option „/sitemap.xml automatisch hinzufügen“ aktiviert oder ergänzen Sie mit „+ Sitemap hinzufügen“ weitere Sitemap-URLs.
Prüfen Sie rechts die robots.txt-Vorschau, klicken Sie dann auf „Herunterladen“ oder „Kopieren“ und laden Sie die Datei in das Stammverzeichnis Ihrer Domain hoch.
Profi-Tipps
- Fügen Sie Ihre Inhalte direkt ein – der Robots.txt-Generator erkennt gängige Eingabemuster und wendet automatisch sinnvolle Voreinstellungen an.
- Nutzen Sie Tastenkürzel (Strg/Cmd+A zum Markieren, Strg/Cmd+C zum Kopieren), um im Robots.txt-Generator schneller zu arbeiten.
- Teilen Sie sehr große Eingaben in kleinere Blöcke auf – die meisten Browser-Tabs verkraften mehrere Megabyte Text, doch beim Parsen riesiger Payloads kann die Oberfläche kurz einfrieren.
- Der Robots.txt-Generator protokolliert und speichert Ihre Eingaben nicht. Wenn Sie einen Verlauf brauchen, kopieren Sie wichtige Ergebnisse in eine lokale Datei oder Notiz-App.
- Kombinieren Sie den Robots.txt-Generator mit anderen Tools dieser Seite (Formatierer, Konverter, Encoder), um komplette Datenpipelines aufzubauen, ohne den Browser zu verlassen.
Häufig gestellte Fragen
Ja, vollständig kostenlos – ohne Anmeldung, ohne API-Schlüssel, ohne Wasserzeichen und ohne Nutzungslimits.
Nein. Der Robots.txt-Generator läuft vollständig clientseitig in Ihrem Browser. Ihre Eingaben erreichen unsere Server nie.
Es gibt keine feste Grenze, doch ab einigen Megabyte müssen Sie je nach Arbeitsspeicher Ihres Geräts mit Verzögerungen rechnen.
Ja. Die mit dem Robots.txt-Generator erzeugten Ergebnisse können Sie frei in privaten wie kommerziellen Projekten verwenden.
Der Großteil der Logik läuft als clientseitiges JavaScript, sodass Sie nach dem ersten Laden häufig auch ohne Netzverbindung weiterarbeiten können.
Keine. Da der Robots.txt-Generator in Ihrem Browser läuft, können Sie so viele Eingaben verarbeiten, wie Ihre Hardware zulässt – ohne API-Schlüssel und ohne Drosselung.