Saltar al contenido
Doctor SEO
Análisis SEO gratuito

Validador de robots.txt: prueba tus reglas con Googlebot y los rastreadores de IA

Validador de robots.txt gratuito: lee tu archivo con las reglas de Google, muestra el grupo y la línea que deciden cada URL y prueba a la vez Googlebot, Bingbot y 12 rastreadores de IA.

Escribe tu dominio y este validador de robots.txt lee el archivo como la documentación de Google dice que lo lee Google: el límite de 500 KiB, los cuatro campos que admite, el grupo que sigue cada rastreador y la regla que decide cuando coinciden dos. Cada hallazgo señala la línea exacta que lo provoca y explica cómo corregirlo. Elige un rastreador en «Rastrear como», de Googlebot y Bingbot a GPTBot, ClaudeBot o PerplexityBot, y toda la revisión se hace con sus reglas.

Descargamos el /robots.txt de ese host. Si pegas la URL completa de una página, comprobamos también si se puede rastrear.

El archivo se descarga con el user agent de este rastreador y se lee con sus reglas. La tabla de acceso compara todos los rastreadores.

Un robots.txt puede ser perfectamente válido y aun así no hacer lo que cree quien lo escribió. Cuando pasamos el validador por un gran medio de noticias estadounidense el 10 de octubre de 2026, su archivo de 365 líneas no tenía ni un error de sintaxis. Pero GPTBot tiene su propio grupo en ese archivo, así que sigue solo ese grupo e ignora las 109 reglas escritas para User-agent: *. Applebot no tiene grupo propio y acaba siguiendo el de Googlebot. Bingbot sigue el grupo *. Nada de eso se ve leyendo el archivo de arriba abajo, y es justo lo que muestra la tabla de acceso por rastreador.

Qué comprueba el validador de robots.txt

El validador de robots.txt de doctor-seo.net hace unas 80 comprobaciones. Cada hallazgo enlaza el documento en el que se basa: la documentación de robots.txt de Google, el RFC 9309 (el estándar del IETF para el protocolo de exclusión de robots) o el analizador de robots.txt de código abierto de Google. Las comprobaciones se agrupan en seis bloques.

Bloque Qué revisa Ejemplo de error
Descarga Código HTTP para el rastreador elegido, redirecciones (hasta cinco), una página HTML en lugar de un archivo de texto, Content-Type, Cache-Control, tamaño frente al límite de 500 KiB, UTF-8, marca de orden de bytes robots.txt devuelve 5xx o 429, y Google deja de rastrear el sitio
Sintaxis Líneas que no son «campo: valor», dos puntos que faltan, nombres de campo mal escritos, reglas antes de cualquier línea User-agent, URL completas o rutas sin barra inicial, espacios en rutas, $ en mitad de una ruta, reglas repetidas Disallow: https://example.com/privado/, que nunca coincide con nada
Grupos Qué grupo sigue cada rastreador, grupos fusionados para el mismo rastreador, rastreadores que ignoran las reglas de * por tener grupo propio, grupos sin reglas, nombres de User-agent que no usa ningún rastreador Un grupo específico que deja sin efecto todas las reglas del grupo *
Reglas Todo el sitio bloqueado para un rastreador, Allow y Disallow para la misma ruta, rutas típicas de CSS y JavaScript bloqueadas, /wp-admin/admin-ajax.php bloqueado, campos no admitidos como noindex, crawl-delay o host Disallow: / para Googlebot
Sitemaps Líneas Sitemap sin URL completa y, para los cinco primeros sitemaps listados: código para el rastreador elegido, redirecciones, si de verdad es un sitemap, otros hosts, una regla Disallow que bloquea el propio sitemap El sitemap listado devuelve 404
Rastreo robots.txt tal como lo recibe el user agent de cada uno de los 14 rastreadores, la página de inicio y hasta 20 URL que elijas probadas para cada rastreador, CSS, JavaScript e imágenes de la portada probados con las reglas de Googlebot, las versiones http/https y con www del host robots.txt se le niega al user agent de un rastreador mientras carga para los demás

También puedes pegar reglas, hasta 512 KB, para probar un robots.txt antes de publicarlo. Añade la URL del sitio y las pruebas de URL se hacen contra las reglas pegadas.

Cómo lee Google un archivo robots.txt

La mayoría de los errores en robots.txt vienen de cuatro reglas de la documentación de Google que el archivo no deja ver. El validador aplica las cuatro.

  1. Un grupo por rastreador. Para cada rastreador solo vale un grupo: el del user agent más específico que coincide con él. Un rastreador con grupo propio ignora por completo el grupo *; los dos nunca se combinan. Si el mismo rastreador aparece en varios grupos, Google los fusiona en uno.
  2. Gana la regla más larga. Dentro del grupo, los rastreadores aplican la regla más específica según la longitud de su ruta. Allow: /blog/articulo gana a Disallow: /blog/ para ese artículo porque es más larga, esté donde esté en el archivo.
  3. Si empatan, gana Allow. Con reglas en conflicto, también con comodines, Google aplica la menos restrictiva.
  4. Solo cuentan cuatro campos. Google admite user-agent, allow, disallow y sitemap; otros campos, como crawl-delay, no los admite. Una línea noindex en robots.txt no hace nada en Google desde el 1 de septiembre de 2019.

Hay dos detalles que en la práctica pillan a mucha gente. Las líneas en blanco no cierran un grupo, así que User-agent: Googlebot, una línea vacía y User-agent: Bingbot forman un único grupo que comparten los dos. Y un * al final no añade nada, porque toda regla ya coincide con todo lo que empieza por su ruta: /privado/* y /privado/ son la misma regla.

Cómo leer los resultados

El validador ordena los hallazgos en cuatro niveles. Los errores cambian cómo rastrea Google el sitio o bloquean mucho más de lo que probablemente se quería: una respuesta 5xx, todo el sitio bloqueado para Googlebot, una regla que nunca puede coincidir. Los avisos funcionan pero te cuestan algo, como un sitemap listado que no carga o un grupo que deja sin efecto las reglas de * sin que se note. Las mejoras son limpieza, como comodines sobrantes o reglas repetidas. Conviene saber es información, como la cabecera Cache-Control o una línea Content-Signal.

Cada hallazgo muestra las líneas a las que se refiere, y al pulsar una saltas a esa línea en el visor del archivo, donde aparece resaltado el grupo que sigue el rastreador elegido. La tabla de prueba de URL da el resultado de cada URL y la línea que lo decide. «Copiar informe» copia el resultado completo en texto plano, y el enlace para compartir repite la misma revisión con el mismo rastreador.

Qué pasa cuando robots.txt no carga

El código HTTP de robots.txt importa tanto como su contenido, porque Google lee unos fallos como «rastrea todo» y otros como «no rastrees nada». El validador pide el archivo con el user agent de cada rastreador e informa de lo que recibió cada uno.

Respuesta Qué hace Google
200 Aplica las reglas.
3xx Sigue al menos cinco redirecciones y después lo trata como un 404.
4xx salvo 429 Actúa como si no existiera un robots.txt válido: sin restricciones de rastreo.
5xx, 429 o sin respuesta Durante las primeras 12 horas deja de rastrear el sitio y sigue intentando descargar robots.txt. Durante los 30 días siguientes usa la última versión buena.

Por eso un cortafuegos que responde 403 a un rastreador desconocido cuando pide robots.txt no lo bloquea: según las reglas de Google, un 403 significa sin restricciones. Si quieres dejar fuera a un rastreador, la regla va en robots.txt, o el rechazo va en las páginas.

Probar Googlebot, Bingbot y los rastreadores de IA

La tabla de acceso repite la revisión para 14 rastreadores a la vez. Para cada uno muestra el grupo que sigue y la línea donde empieza, si la portada y tus URL de prueba están permitidas, y qué respondió el servidor al pedir robots.txt con el user agent de ese rastreador.

Grupo Rastreadores de la tabla Para qué los usa su operador
Buscadores Googlebot, Bingbot, Applebot Resultados de búsqueda web
Búsqueda con IA OAI-SearchBot, Claude-SearchBot, PerplexityBot El índice detrás de las respuestas de ChatGPT search, Claude y Perplexity
Asistentes de IA, a petición del usuario ChatGPT-User, Claude-User, Perplexity-User Descargar una página que el usuario pidió leer al asistente
Entrenamiento de IA GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent Recoger datos para entrenar modelos

Google-Extended y Applebot-Extended son tokens de robots.txt, no rastreadores: la regla se respeta, pero quien descarga es Googlebot o Applebot. Algunos rastreadores que actúan a petición del usuario dicen que pueden no aplicar robots.txt a una página que una persona pidió, y la tabla lo indica cuando así lo dice el propio operador.

El validador no te dice qué rastreadores de IA permitir. Bloquear los bots de entrenamiento o de respuestas de IA es una decisión de negocio en la que el sector está dividido, y doctor-seo.net no ha tomado postura. Lo que muestra el validador es si lo que bloqueas es lo que querías bloquear.

Todas las peticiones de prueba salen del servidor de doctor-seo.net, no de los rangos de IP de Google, Microsoft, OpenAI o Anthropic. Un cortafuegos que verifica los rastreadores por IP puede tratar la imitación de forma distinta al rastreador real. Confirma todo lo que afecte a Googlebot con el informe de robots.txt y la inspección de URL de Search Console. En nuestra prueba del medio de noticias citado arriba, los cinco sitemaps revisados respondieron 403 al user agent de GPTBot desde nuestro servidor; puede ser intencionado o un cortafuegos reaccionando a un rastreador no verificado.

Errores habituales en robots.txt y cómo corregirlos

  1. Un grupo específico sin las reglas generales. Añadir User-agent: Googlebot con una regla hace que Googlebot ignore todo lo que hay bajo User-agent: *. Copia en ese grupo las reglas generales que quieras mantener.
  2. Bloquear CSS y JavaScript. Google renderiza las páginas con sus scripts y estilos, y su recomendación es no bloquearlos. El validador prueba los archivos CSS, JavaScript e imágenes de tu portada con las reglas de Googlebot.
  3. Usar robots.txt para sacar páginas de Google. Una página bloqueada puede indexarse igualmente a partir de enlaces, sin su contenido. Para que no se indexe, permite el rastreo y usa una metaetiqueta o cabecera noindex.
  4. Una línea Sitemap con ruta relativa. El campo tiene que ser una URL completa, con protocolo y host. Escribe Sitemap: https://example.com/sitemap.xml.
  5. Bloquear /wp-admin/admin-ajax.php en WordPress. El robots.txt que WordPress genera por defecto bloquea /wp-admin/ pero permite ese archivo, porque temas y plugins cargan contenido a través de él.

Lo que este validador no puede decirte

  • Qué robots.txt tiene Google en caché. Google suele guardar el archivo hasta 24 horas. El informe de robots.txt de Search Console muestra la versión que descargó y cuándo.
  • Si una URL está indexada. robots.txt controla el rastreo, no la indexación.
  • Qué reciben los rastreadores reales desde sus propias IP. Mira la advertencia de arriba.
  • Todos los sitemaps de una lista larga. Se descargan las cinco primeras líneas Sitemap; el validador de sitemap XML analiza a fondo cualquiera de ellos.
  • Cómo leen los casos límite otros rastreadores. Las reglas siguen el RFC 9309 y la documentación de Google. Los demás rastreadores coinciden en casi todo, pero no en todo; por ejemplo, en crawl-delay.

En resumen

  • Google lee los primeros 500 KiB de robots.txt y admite cuatro campos: user-agent, allow, disallow y sitemap.
  • Cada rastreador sigue solo su grupo más específico, y un grupo propio ignora las reglas de *.
  • Gana la regla más larga que coincide; si dos tienen la misma longitud, gana Allow.
  • Una respuesta 4xx significa sin restricciones; un 5xx o un 429 detiene el rastreo de Google.
  • robots.txt bloquea el rastreo, no la indexación.
  • Una prueba desde un servidor normal imita el user agent de un rastreador, no su IP.

Preguntas frecuentes

¿El validador de robots.txt es gratis?

Sí, y sin cuenta. Para que el servidor siga disponible hay un límite de 15 revisiones por conexión cada 10 minutos, y los resultados se guardan 10 minutos; «Volver a analizar» descarga una copia nueva.

¿Por qué mi regla funciona aquí y no en Search Console?

Casi siempre es cuestión de tiempo. Google puede estar usando una copia de robots.txt de hasta 24 horas antes. El informe de robots.txt de Search Console muestra qué versión tiene y te deja pedir que lo vuelva a descargar tras un cambio urgente.

¿Google admite crawl-delay?

No. Google ignora crawl-delay; Bingbot y otros rastreadores sí lo leen. Para frenar a Googlebot durante poco tiempo, Google documenta responder con 500, 503 o 429.

¿Las rutas de robots.txt distinguen mayúsculas y minúsculas?

Sí. Las rutas de las reglas Allow y Disallow distinguen mayúsculas, así que /Privado/ no coincide con /privado/. Los nombres de campo y de rastreador, no.

¿Dónde tiene que estar el archivo robots.txt?

En la raíz de cada host, por ejemplo https://example.com/robots.txt. Solo se aplica a ese protocolo, host y puerto, así que www.example.com y http://example.com leen cada uno su propio archivo. El validador prueba ambas versiones e indica si redirigen o sirven un archivo propio.

Por dónde seguir

Esta herramienta forma parte de la sección de herramientas SEO de Doctor SEO, junto al validador de sitemap XML. Cómo encajan rastreo, robots.txt e indexación es materia del nivel de SEO técnico del curso SEO gratuito, y el glosario SEO define cualquier término del informe que te resulte nuevo.

Fuentes