Monta tu robots.txt bloque a bloque: reglas Allow y Disallow por rastreador, crawl delay, sitemaps y comentarios, con vista previa en vivo.
El archivo se construye localmente en tu navegador. Nada sale de tu dispositivo.
Una línea «Sitemap:» por cada mapa XML; mejor siempre con la URL absoluta completa.
¿Partes de un archivo existente? Pega sus líneas a mano en los grupos: la vista previa reemplaza el archivo viejo al terminar.
La herramienta recorre tus grupos de reglas de arriba abajo y escribe un bloque User-agent: por grupo: primero la línea del agente, después cada Allow:, Disallow: y el Crawl-delay: opcional, y al final las líneas Sitemap: y los comentarios que hayas añadido. La vista previa se actualiza mientras escribes y copiar o descargar te da un archivo listo para la raíz de tu web en /robots.txt.
No necesariamente. Disallow impide que Google rastree la página, pero si otros sitios enlazan a esa URL Google puede seguirla listando en resultados — normalmente con el título, el aviso «URL bloqueada por robots.txt» y sin descripción. Para retirar una página de verdad necesitas que sea accesible y sirva un meta noindex (o una respuesta 410/401 con autenticación); luego robots.txt puede mantenerla fuera.
Suele ocurrir lo contrario. Google ha dicho que bloquear por robots.txt es el método más débil de desindexación: una página bloqueada en el rastreo puede seguir en el índice, y Google no puede ver una etiqueta noindex de una página que no tiene permitido descargar. El orden fiable es: dejar rastrear, servir noindex (meta o cabecera HTTP) y añadir el Disallow solo cuando la página ya no esté en el índice.
No — la Search Console y los feeds pueden descubrir los sitemaps de otras formas —, pero es la autodescripción más barata que existe: una línea que dice a cada rastreador que respeta el protocolo dónde viven tus sitemaps XML. Incluye al menos la URL canónica de tu sitemap principal.
No, y confiar en eso es un error clásico. robots.txt vive en una URL pública, así que publicar un Disallow equivale a repartir la lista de tus rutas ocultas: Google y Bing indexan el propio archivo y los scraper lo leen a diario. Lo secreto va detrás de autenticación, no detrás de una directiva que los robots educados aceptan seguir.
No. El archivo se ensambla con JavaScript puro a partir de lo que escribes, y copiar y descargar ocurren íntegramente en tu navegador: puedes generarlo incluso sin internet. Nada sale de tu equipo salvo que tú publiques el resultado en tu propia web.
Si acabas de usar Generador de robots.txt, los siguientes pasos naturales son Generador de sitemap.xml, Generador de meta tags, Constructor de enlaces UTM, o explora todas las herramientas de Herramientas diarias.