OpenAI anunció el 30 de octubre de 2026 que respetará una señal común en robots.txt con la que cualquier web podrá indicar, con una sola entrada, si permite que su contenido se use para el entrenamiento de la IA generativa. Google y Microsoft publicaron ese mismo día sus planes para leer la misma señal, y Microsoft ya ha puesto fecha: empezará a aplicarla en sus rastreos el 1 de febrero de 2027.
La propuesta sale de un borrador presentado en el Grupo de Trabajo de Ingeniería de Internet (IETF), el organismo que redacta buena parte de los estándares técnicos de la red, y lo firma Kevin Kelley, de Anthropic. Según la nota de OpenAI, la idea es que editores y administradores de webs puedan comunicar «la misma preferencia a varios proveedores participantes a la vez».
Dos líneas en lugar de una lista
El robots.txt es un archivo de texto que vive en la raíz de cada web y que indica a los programas automáticos, los llamados rastreadores o bots, qué partes pueden visitar. Hasta ahora, quien quería apartar su contenido del entrenamiento tenía que identificar el rastreador de cada empresa y mantener «reglas separadas para todos y cada uno de los proveedores», como reconoce OpenAI en su anuncio.
Con la señal común basta un nombre, __usage_ai-training, colocado en la línea User-Agent donde antes iba cada robot. El borrador del IETF pone de ejemplo un archivo que se opone al entrenamiento en toda la web con la orden Disallow: / y que solo lo permite, con una línea Allow, en la carpeta /press-kit/, la del material de prensa.
Kelley no inventa órdenes nuevas y respeta el estándar actual del archivo, el RFC 9309.
Eso sí, el comodín User-Agent: *, con el que muchas webs hablan a todos los robots, no vale como preferencia sobre entrenamiento, y si ningún bloque nombra la señal se entiende que la web no ha dicho nada.
GPTBot conserva sus reglas
OpenAI explica que la nueva señal no sustituirá los controles que ya ofrece en robots.txt, que seguirán aplicándose. En su documentación para desarrolladores, la empresa describe GPTBot como el rastreador que recoge contenido que puede servir para entrenar sus modelos fundacionales, mientras que OAI-SearchBot decide qué webs aparecen en la búsqueda de ChatGPT.
Cada uno de esos ajustes funciona por separado, de modo que una web puede dejarse ver en la búsqueda de ChatGPT y bloquear al mismo tiempo a GPTBot. Según esa misma documentación, los cambios de visibilidad en la búsqueda tardan unas 24 horas en aplicarse desde que se actualiza el archivo.
Para la señal común, la compañía todavía no da fecha y dice que aspira a aplicarla en los próximos meses. Cierra su nota con una petición directa: «Animamos a otros proveedores de IA a respetar la señal».
Google prevé tratarlo como Google-Extended
En el blog de Google Search Central, John Mueller, Search Advocate de Google, explica que cuando una web rechace el entrenamiento con la señal común, «Google prevé interpretarlo como si el editor hubiera bloqueado Google-Extended». Esa lectura solo se aplicará si el archivo no menciona Google-Extended de forma explícita.
Con Google-Extended los editores ya podían decidir si su contenido entrena las próximas versiones de Gemini, y Google asegura en su documentación que no afecta a la posición de la web en el buscador. El blog dice que Google aspira a aplicarlo en 2027 y su documentación de rastreadores concreta que prevé hacerlo a principios de ese año. El uso de contenidos ajenos para entrenar modelos ya llevó a la compañía a defender ante Bruselas que paga a los creadores por entrenar su IA.
Bing fija el 1 de febrero
Krishna Madhavan, director principal de producto de Microsoft Bing, detalla en el blog de Bing que la compañía empezará a respetar las nuevas preferencias a medida que rastree a partir del 1 de febrero de 2027. Las webs tendrán hasta el 1 de marzo de 2027 para publicarlas.
A partir de entonces, Bing dejará de leer las etiquetas NoArchive y NoCache como preferencias sobre entrenamiento. Para el grounding, que es cuando un chatbot consulta una web en directo para apoyar y citar su respuesta, Microsoft crea un ajuste aparte que se fija página a página.
Según Madhavan, quien bloquee el grounding perderá visibilidad de marca en las experiencias de IA de Microsoft. En el buscador, en cambio, la web seguirá saliendo igual que hasta ahora.
Un borrador firmado en Anthropic
Kelley registró su documento el mismo 30 de octubre. Es un borrador individual que caduca el 3 de mayo de 2027, y la página del IETF avisa de que no tiene el respaldo del organismo.
Detrás está el grupo AI Preferences del IETF, que lleva meses puliendo un vocabulario común para este tipo de preferencias. Su último texto, del 14 de septiembre, lo firman Paul Keller, de Open Future, y Martin Thomson, de Mozilla.
En los agradecimientos del borrador figuran personas de más de 30 organizaciones, como Meta, la BBC, el Financial Times, Internet Archive o Creative Commons. Anthropic, la empresa de Kelley, también afronta pleitos por los datos de entrenamiento de Claude, como la demanda de los herederos de Elvis Presley, que reclaman 36 millones de euros.
Sin fecha de OpenAI ni rango de estándar
La señal llega con varios huecos. OpenAI no ha dicho cuándo la aplicará, Google se limita a 2027 y el borrador todavía no es un estándar aprobado, así que respetarlo depende de la voluntad de cada empresa, tal y como admite OpenAI al calificarlo de esfuerzo voluntario.
El propio borrador recuerda que «este token de política no es una directiva sobre el comportamiento de rastreo». Un robot puede seguir visitando la página aunque la web rechace el entrenamiento, y quien quiera frenar esas visitas tendrá que seguir usando el nombre de cada rastreador.
Ninguna de las notas del 30 de octubre explica qué pasará con el contenido recogido antes de que la señal entre en vigor, y Microsoft avisa de que ninguna de sus opciones garantiza tráfico ni pago. El debate sobre derechos de autor sigue abierto, con empresas que usan IA expuestas a demandas mientras las normas europeas piden a los desarrolladores un sistema para excluir obras si sus autores lo desean.
La nota se ha publicado en el blog de OpenAI el 30 de octubre de 2026.
Crédito de la imagen: OpenAI.
Powered by WPeMatico
Acerca del autor
