GPTBot, OAI-SearchBot y ClaudeBot: qué permitir en el robots.txt de tu tienda
Respuesta rápida
Los rastreadores de IA se dividen en tres trabajos: entrenar modelos, alimentar un buscador y abrir una página a petición de un usuario. Para una tienda que quiere que la recomienden, lo habitual es permitir los bots de búsqueda y decidir aparte si se permite el entrenamiento. Según OpenAI, bloquear GPTBot no te saca de la búsqueda de ChatGPT, pero bloquear OAI-SearchBot sí.
Los rastreadores de IA no son todos iguales. Cada proveedor usa bots distintos para entrenar modelos, para construir su buscador y para abrir una página cuando un usuario lo pide en ese momento. Si los metes en el mismo saco, o bloqueas más de lo que querías o dejas pasar justo lo contrario.
Los tres trabajos de un rastreador de IA
- Entrenamiento: recoge contenido para mejorar los modelos de base.
- Búsqueda: construye el índice del que salen las respuestas con enlaces a fuentes.
- Acción del usuario: abre una URL concreta porque alguien lo ha pedido en esa conversación.
Qué hace cada bot
| Proveedor | Bot | Para qué sirve |
|---|---|---|
| OpenAI | GPTBot | Entrenamiento de modelos. Respeta el robots.txt. |
| OpenAI | OAI-SearchBot | Búsqueda de ChatGPT. Respeta el robots.txt. |
| OpenAI | ChatGPT-User | Acciones iniciadas por el usuario. Según OpenAI, las reglas del robots.txt pueden no aplicarse. |
| Anthropic | ClaudeBot, Claude-SearchBot, Claude-User | Entrenamiento, búsqueda y acciones del usuario, controlados por separado según su documentación. |
| Perplexity | PerplexityBot, Perplexity-User | Índice de búsqueda y acciones del usuario. Perplexity indica que el segundo suele ignorar el robots.txt. |
| Googlebot, Google-Extended | El primero rastrea para el buscador, incluidas sus funciones de IA. El segundo es un control sobre el uso de contenido en Gemini y no afecta a tu posicionamiento en Google Search. |
Los nombres y las versiones cambian. Antes de tocar nada, confirma cada bot en la documentación de su proveedor.
Qué te conviene en una tienda online
Si tu objetivo es que te recomienden, lo razonable es permitir los bots de búsqueda: OAI-SearchBot, Claude-SearchBot, PerplexityBot y Googlebot. Que alguien entrene modelos con tu contenido es una decisión de negocio aparte, y no hay una respuesta única.
Lo importante, según la documentación de OpenAI, es que GPTBot y OAI-SearchBot se gestionan por separado. Bloquear GPTBot no te saca de la búsqueda de ChatGPT, pero bloquear OAI-SearchBot sí te deja fuera de sus respuestas.
Opción A: permitir todo
No necesitas añadir reglas. Si tu robots.txt no bloquea nada, todos esos bots pueden entrar.
Opción B: permitir la búsqueda y no el entrenamiento
Mantén tus reglas actuales y añade estos bloques:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /Dónde se edita el robots.txt
- Shopify: con la plantilla
robots.txt.liquiddel tema. Toca solo lo que entiendas. - WooCommerce y otros WordPress: con el editor de archivos de tu plugin de SEO, si tu hosting lo permite, o subiendo el archivo a la raíz.
- PrestaShop: el archivo
robots.txtde la raíz, que se puede regenerar desde la sección de tráfico y SEO.
Errores frecuentes
- Un Disallow: / heredado de un entorno de pruebas que se copió a producción.
- Un cortafuegos o una protección anti-bots que bloquea a los rastreadores aunque el robots.txt los permita. OpenAI recomienda permitir también sus rangos de IP publicados.
- Listas de user-agents antiguas copiadas de artículos de 2023. Los nombres cambian.
- Creer que permitir el acceso basta. Es necesario, pero no garantiza que te citen.
Cómo comprobar que funciona
- Abre
tutienda.com/robots.txty confirma que las reglas dicen lo que quieres. - Revisa los registros del servidor y cuenta las visitas de cada bot por separado.
- Comprueba que las visitas son reales cotejando la IP con los rangos que publica cada proveedor.
- Espera. OpenAI indica que sus sistemas pueden tardar en torno a 24 horas en reflejar un cambio.
- Haz 5 a 10 preguntas de compra en ChatGPT y anota si apareces. Tienes el método en cómo medir tu visibilidad en ChatGPT.
Ten en cuenta que el robots.txt solo regula el acceso. Lo que decide que te recomienden es el contenido, los datos de producto y las menciones que tengas fuera de tu web.
Preguntas frecuentes
¿Bloquear GPTBot me saca de ChatGPT?
No necesariamente. Según OpenAI, GPTBot es el control para el entrenamiento y OAI-SearchBot el de la búsqueda de ChatGPT. Son independientes.
¿Debo bloquear ClaudeBot o Google-Extended?
Es una decisión de negocio sobre el uso de tu contenido para entrenar modelos. En el caso de Google-Extended, Google indica que no afecta a tu inclusión ni a tu posicionamiento en Google Search.
¿ChatGPT-User respeta el robots.txt?
OpenAI indica que, al tratarse de acciones iniciadas por un usuario, las reglas del robots.txt pueden no aplicarse. Para gestionar la búsqueda se usa OAI-SearchBot.
¿El llms.txt sustituye al robots.txt?
No. El robots.txt regula el acceso y el llms.txt es una guía opcional. Tienes más detalle en llms.txt para ecommerce.
Fuentes consultadas
¿Quieres saber cómo está tu tienda?
Déjanos la web y en 48 horas recibes tus cinco mayores oportunidades en Google, si las IA te citan hoy y una comparación con tu competidor principal.
Quiero mi auditoría gratis