¿Pueden los bots de IA leer tu web?
Escribe un dominio. Descargamos su robots.txt y te decimos, bot a bot, si los buscadores de IA, los asistentes y los rastreadores de entrenamiento pueden llegar a tu portada.
Que te puedan leer es el primer paso. ¿Te citan?
El informe gratuito revisa hasta cinco preguntas de tus clientes en tres motores de IA y te enseña a quién citan en tu lugar.
Pedir el informe gratisLos planes de pago hacen esta comprobación, y una treintena más, cada semana. Ver planes
Cómo funciona este comprobador
- Descargamos https://tudominio/robots.txt desde nuestro servidor, siguiendo hasta cinco redirecciones, con 8 segundos de tiempo máximo y 500 KiB de tamaño.
- Evaluamos las reglas como la RFC 9309 y el parser de Google: gana la regla más larga que coincide y el grupo propio de un bot sustituye al grupo *.
- Comprobamos la ruta de la portada (/). Una web puede permitir la portada y bloquear secciones.
- robots.txt es una petición, no un muro. Los cortafuegos y la protección contra bots (Cloudflare, Vercel) también pueden bloquear rastreadores; la auditoría completa lo prueba.
Preguntas sobre bots de IA.
Lo que más nos preguntan antes de empezar. Si te falta algo, escríbenos.
Escríbenos¿Debería bloquear GPTBot?
GPTBot recoge datos para entrenar los modelos de OpenAI. Bloquearlo es una decisión legítima y, según la documentación de OpenAI, no te saca de la búsqueda de ChatGPT, que usa OAI-SearchBot. Si quieres aparecer en las respuestas de ChatGPT, no bloquees OAI-SearchBot ni ChatGPT-User.
¿Google-Extended controla los AI Overviews?
No. Google-Extended controla el entrenamiento de Gemini y su uso en las apps de Gemini. Los AI Overviews y AI Mode son parte de la Búsqueda de Google y dependen de Googlebot y de controles de fragmentos como nosnippet.
Mi robots.txt lo permite todo y aun así no me citan. ¿Por qué?
Que te puedan rastrear es necesario, pero no suficiente. Los motores citan páginas que responden bien a la pregunta y que otras webs mencionan. El informe gratuito te enseña qué páginas citan para las preguntas de tus clientes.
¿Guardáis los dominios que compruebo?
Solo 10 minutos en memoria, para no consultar la misma web una y otra vez. No los guardamos en ninguna base de datos.