¿Qué es GPTBot?
GPTBot es el rastreador web de OpenAI que recopila contenido disponible públicamente en Internet para entrenar sus modelos de IA generativa. Envía solicitudes HTTP con una cadena de agente de usuario que contiene GPTBot/1.1 y un enlace a la documentación de OpenAI, lo que permite identificarlo en los registros de acceso del servidor. El tráfico también puede verificarse comparándolo con los rangos de direcciones IP publicados por OpenAI (Equipo de desarrolladores de OpenAI, «Descripción general de los rastreadores de OpenAI», 2025).
¿Cómo accede GPTBot a su contenido?
GPTBot rastrea páginas a las que se puede acceder públicamente sin necesidad de autenticación, siguiendo los enlaces de forma muy similar a como lo hace el bot de un motor de búsqueda. Cada solicitud incluye el GPTBot/1.1 identificador en el encabezado «user-agent», para que los servidores web puedan reconocerlo en los registros. Para impedir que GPTBot rastree cualquier parte de su sitio web, añada User-agent: GPTBot seguido de Disallow: / a su robots.txt archivo (Equipo de desarrolladores de OpenAI, «Descripción general de los rastreadores de OpenAI», 2025). También puede permitir el rastreo de rutas específicas y bloquear otras, utilizando el estándar robots.txt sintaxis de la ruta.
Preguntas frecuentes
GPTBot recopila contenido web de acceso público que OpenAI utiliza para entrenar y mejorar sus modelos de IA generativa, incluidas las futuras versiones de GPT. Omite las páginas que requieren iniciar sesión y respeta las normas estándar robots.txt directivas.
Añada dos líneas al archivo robots.txt: User-agent: GPTBot en una sola línea y Disallow: / en la siguiente línea. Esto indica a GPTBot que omita todo su sitio web. Puede seleccionar solo directorios concretos indicando las rutas individuales después de Disallow en su lugar.
Compruebe si la cadena «user-agent» de la solicitud contiene GPTBot/1.1, y a continuación compare la dirección IP de origen con los rangos de direcciones IP publicados por OpenAI en su documentación para desarrolladores (Equipo de desarrolladores de OpenAI, «Descripción general de los rastreadores de OpenAI», 2025). La combinación de ambas comprobaciones ofrece una confirmación fiable.