Generador Robots.txt
Crea un archivo robots.txt para tu sitio web. Controla qué motores de búsqueda pueden rastrear tus páginas.
⚠️ Introducir URL (https://example.com)
🕷️ Regla
Rutas comunes que bloquear
Sitemaps
📄 robots.txt
💡 Sube este archivo a la raíz de tu sitio web: https://yoursite.com/robots.txt
Acerca de robots.txt
- • robots.txt indica a los rastreadores de los buscadores qué partes del sitio pueden solicitar.
- • El archivo solo funciona en la raíz del dominio: https://example.com/robots.txt.
- • Disallow: / bloquea todo el sitio; un Disallow: vacío lo permite todo.
- • Bloquear una URL aquí no la elimina de los resultados de búsqueda: para eso usa noindex o una contraseña.
- • Los rastreadores de IA como GPTBot y CCBot respetan robots.txt de forma voluntaria: el archivo es una petición, no un candado.
- • Una línea Sitemap: debe llevar la URL absoluta completa del sitemap.
Generador Robots.txt
Nuestro generador gratuito de Robots.txt te ayuda a crear un archivo robots.txt correctamente formateado.
Herramientas populares
Acerca de Generador Robots.txt
El Generador de Robots.txt crea un archivo de directivas para rastreadores regla a regla: elige un User-agent, añade rutas Allow y Disallow y luego define un Crawl-delay o una o varias URL de Sitemap. Las casillas cubren las rutas que los sitios bloquean habitualmente, como /wp-admin/, /cart/ y /*.pdf$, y las plantillas resuelven los casos de permitir todo, bloquear todo, WordPress, comercio electrónico y bloqueo de rastreadores de IA como GPTBot, CCBot y anthropic-ai. El archivo se monta en tu navegador y puedes copiarlo o descargarlo como robots.txt.
Casos de uso
Cómo usar
Empieza por una plantilla si alguna encaja con tu web: Permitir todo, Bloquear todo, WordPress, Bloquear bots de IA o Comercio electrónico, y edita después lo que haya generado.
Rellena URL del sitio con tu dominio, por ejemplo https://example.com, para que se pueda construir con él la línea del sitemap.
En cada regla, elige un rastreador en el desplegable User-Agent y usa + Añadir Disallow y + Añadir Allow para introducir rutas como /admin/; añade más rastreadores con + Añadir regla de User-Agent.
Marca entradas en Rutas habituales para bloquear y pulsa Aplicar a la regla 1, y define el Retardo de rastreo en segundos si quieres ralentizar a un rastreador.
En Sitemaps, deja marcada la opción Añadir /sitemap.xml automáticamente o usa + Añadir sitemap para indicar más URL de sitemaps.
Revisa la vista previa del robots.txt de la derecha, haz clic en Descargar o Copiar y sube el archivo a la raíz de tu dominio.
Consejos Pro
- Pega tu contenido directamente: el Generador de robots.txt detecta los patrones de entrada más habituales y aplica valores por defecto sensatos de forma automática.
- Usa los atajos de teclado (Ctrl/Cmd+A para seleccionar todo, Ctrl/Cmd+C para copiar) y agiliza tu trabajo dentro del Generador de robots.txt.
- Si la entrada es muy grande, divídela en fragmentos: la mayoría de las pestañas del navegador admiten megabytes de texto, pero procesar contenidos enormes puede bloquear la interfaz durante unos instantes.
- El Generador de robots.txt no registra ni almacena lo que introduces. Si necesitas un historial, copia los resultados importantes en un archivo local o en una app de notas.
- Combina el Generador de robots.txt con otras herramientas de este sitio (formateadores, conversores, codificadores) para montar flujos de datos completos sin salir del navegador.
Preguntas frecuentes
Sí, es totalmente gratuito: sin registro, sin clave de API, sin marcas de agua y sin límites de uso.
No. El Generador de robots.txt funciona íntegramente en el lado del cliente, en tu navegador. Lo que introduces nunca pasa por nuestros servidores.
No hay un límite estricto, pero es normal que se ralentice con entradas de más de unos pocos megabytes, según la memoria de tu dispositivo.
Sí. Los resultados generados con el Generador de robots.txt son tuyos y puedes usarlos libremente en cualquier proyecto personal o comercial.
La mayor parte de la lógica se ejecuta en JavaScript en el lado del cliente, así que después de la carga inicial normalmente podrás seguir trabajando sin conexión a la red.
Ninguno. Como el Generador de robots.txt se ejecuta en tu navegador, puedes procesar tantas entradas como permita tu equipo, sin claves de API ni limitaciones.