El 30 de octubre de 2026, Google, Microsoft y OpenAI publicaron cada uno una entrada que respalda una forma compartida para que un sitio declare su preferencia de entrenamiento de IA en robots.txt. El mecanismo viene de un Borrador de Internet escrito por Kevin Kelley de Anthropic para el grupo de trabajo de Preferencias de IA en la Internet Engineering Task Force. Microsoft fue más lejos en su publicación. Fijó fechas firmes, agregó controles propios a nivel de página y nombró la fecha en que sus etiquetas antiguas dejan de contar.
Lo que vas a construir o aprender
Terminarás con tres cosas en su lugar. Primero, un grupo de robots.txt que declara tu preferencia de entrenamiento a cada proveedor participante a la vez, para todo el sitio o para las rutas que elijas. Segundo, etiquetas de Microsoft a nivel de página en cualquier página que necesite una elección de entrenamiento diferente, más una elección de fundamentación si también quieres controlar las respuestas de IA. Tercero, un registro de transición en Bing Webmaster Tools si tu sitio ahora usa NoArchive o NoCache y quieres que una restricción de fundamentación sobreviva al cambio.
Un límite recorre todo el trabajo. El token compartido cubre solo el entrenamiento. Entrenamiento, en la definición del grupo de trabajo, significa usar un activo para modificar los parámetros aprendidos de un modelo de IA generativa. No cubre la indexación de búsqueda, y no cubre la fundamentación, donde un sistema lee una página en vivo para ayudar a informar una respuesta generada.
Antes de empezar
Respalda el archivo robots.txt actual y cualquier plantilla que imprima etiquetas meta de robots antes de cambiar una línea. Las etiquetas antiguas de Microsoft no viven en robots.txt. NoArchive y NoCache están en una etiqueta meta de robots en el encabezado de la página o en un encabezado de respuesta X-Robots-Tag, así que la auditoría abajo revisa ambos lugares.
Anota las fechas de despliegue antes de esperar resultados. Microsoft empieza a respetar las preferencias nuevas el 1 de febrero de 2027, a medida que rastrea. Google dice que apunta a admitir el control en 2027. OpenAI dice que apunta a implementar la señal en los próximos meses. Publicar el grupo hoy pone tu preferencia en el registro temprano. No activa nada hoy en la mayoría de los proveedores.
| Fecha | Lo que ocurre |
|---|---|
| 15 de diciembre de 2026 | Se abren las preferencias temporales de transición de fundamentación en Bing Webmaster Tools, solo para sitios que usan NoArchive o NoCache a esa fecha |
| 1 de febrero de 2027 | Microsoft empieza a respetar las preferencias nuevas de entrenamiento y fundamentación a medida que rastrea |
| 1 de marzo de 2027 | Después de esta fecha, Microsoft ya no lee NoArchive y NoCache como una preferencia de entrenamiento o fundamentación |
| 3 de mayo de 2027 | El Borrador de Internet expira a menos que se revise o se adopte |
| 30 de septiembre de 2027 | Expiran las preferencias temporales de fundamentación en Bing Webmaster Tools |
Paso 1: Audita el archivo actual y las etiquetas antiguas
Acción: obtén el archivo robots.txt en vivo de tu sitio y guarda una copia. Reemplaza el dominio de ejemplo con el tuyo.
curl https://example.com/robots.txt
Resultado esperado: el archivo en vivo se imprime en su totalidad. Busca grupos que nombren rastreadores de IA o tokens de proveedor, como Google-Extended o GPTBot, y escribe lo que cada grupo permite o bloquea. Esas reglas siguen funcionando después de esta migración, así que la auditoría es tu registro de lo que debe permanecer.
Acción: revisa una página de muestra en busca de las etiquetas antiguas de Microsoft en ambas formas.
curl -s https://example.com/example-page/ | grep -i "noarchive\|nocache"
curl -sI https://example.com/example-page/ | grep -i "x-robots-tag"
Resultado esperado: cada coincidencia muestra dónde vive una etiqueta antigua, en la etiqueta meta o en el encabezado. Revisa la página de inicio, una página de artículo y una página de cada plantilla que use tu sitio. Si nada coincide en ninguna parte, tu sitio nunca usó las etiquetas antiguas, y puedes omitir el Paso 7.
Paso 2: Decide la elección de entrenamiento para cada ruta
Acción: decide, ruta por ruta, cuál de los tres estados quieres. Una ruta cubierta por una regla Disallow declara una preferencia contra el entrenamiento. Una ruta cubierta por una regla Allow declara una preferencia a favor del entrenamiento. Una ruta sin ningún grupo que nombre el token no declara ninguna preferencia.
Resultado esperado: una lista corta que puedes convertir en reglas en el paso siguiente. Dos trampas pertenecen a esta decisión. Un grupo para el token comodín no cuenta, ya que el borrador dice que los grupos comodín no deben leerse como coincidentes con el token de política. Y el token debe coincidir exactamente, aparte de mayúsculas y minúsculas, así que un error de ortografía convierte todo el grupo en silencio.
Paso 3: Agrega el grupo del token compartido a robots.txt
Acción: agrega un grupo nuevo a robots.txt. Para una exclusión de todo el sitio, el grupo son dos líneas.
User-Agent: __usage_ai-training
Disallow: /
Resultado esperado: el grupo declara una preferencia contra el entrenamiento de IA generativa para cada ruta en el sitio. El token tiene dos guiones bajos al inicio. Revisa que tu editor o sistema de contenido no los haya quitado ni haya convertido el nombre en un enlace.
Acción: para una exclusión parcial, nombra las rutas en cambio, y deja fuera cualquier ruta que quieras dejar abierta con una regla Allow. El borrador usa esta forma, con un kit de prensa dejado abierto.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Resultado esperado: las reglas de ruta siguen las reglas normales de robots.txt, incluida la precedencia de coincidencia más larga, porque el borrador no agrega gramática nueva ni nombres de directiva nuevos. Una sola sección funciona de la misma manera, con una línea como Disallow: /archive/ en lugar de la regla de todo el sitio.
Paso 4: Mantén las reglas de proveedor que ya tienes
Acción: deja cada grupo de proveedor existente en el archivo, exactamente como lo encontró la auditoría. Agrega el grupo compartido junto a ellos en lugar de reemplazarlos.
Resultado esperado: los controles que funcionan hoy siguen funcionando mientras llega el soporte para el token compartido. Google afirma el punto para su propio token. Cuando un sitio usa el token compartido para excluirse y Google-Extended no se especifica explícitamente, Google planea leer eso como un disallow de Google-Extended. Un sitio que nombra Google-Extended mantiene su propia elección declarada para Google, y Google dice que los sitios que permiten Google-Extended siguen siendo elegibles para aparecer en respuestas en Gemini Apps. OpenAI dice lo mismo en términos generales. La señal nueva no reemplazará los controles de rastreador que ya ofrece, y esos controles seguirán aplicándose.
Paso 5: Agrega etiquetas de entrenamiento de Microsoft a nivel de página donde una página difiera
Acción: donde una página necesite una elección de entrenamiento diferente de la regla del sitio, agrega la forma de Microsoft a nivel de página a esa página. Usa la etiqueta meta en el encabezado de la página, o la forma de encabezado si la página no tiene un encabezado HTML para editar.
<meta name="Bingbot" content="ai-training:disallow">
X-Robots-Tag: Bingbot: ai-training:disallow
Resultado esperado: para Microsoft, el ajuste a nivel de página anula el ajuste de robots.txt para esa página. Esta capa es un control de Microsoft. No es parte de la señal compartida, y otros proveedores no están obligados por ella. Microsoft empieza a respetarla el 1 de febrero de 2027, a medida que rastrea la página.
Paso 6: Define la fundamentación por separado si las respuestas de IA te importan
Acción: decide la elección de fundamentación por su cuenta. La fundamentación es el uso de una página como entrada para ayudar a informar una respuesta generada, en productos que Microsoft enumera como AI Mode, AI Overview, Copilot y Microsoft 365. El token compartido no dice nada sobre fundamentación, y no hay una regla de fundamentación de robots.txt para todo el sitio. Microsoft define la fundamentación solo página por página.
<meta name="Bingbot" content="ai-grounding:disallow">
X-Robots-Tag: Bingbot: ai-grounding:disallow
Resultado esperado: un valor Disallow mantiene la página fuera de la fundamentación para Microsoft. La opción intermedia, escrita como ai-grounding:disallowextended en el mismo patrón de etiqueta o encabezado, permite la fundamentación solo en experiencias operadas por Microsoft y excluye los servicios de fundamentación que Microsoft ofrece a terceros, que su publicación nombra como Web IQ y fundamentación mediante acceso a API en Foundry. Allow es el predeterminado, así que una página sin etiqueta de fundamentación puede usarse para informar respuestas.
Paso 7: Registra la transición en Bing Webmaster Tools
Acción: este paso se aplica solo si el Paso 1 encontró NoArchive o NoCache en tu sitio y quieres mantener una restricción de fundamentación. Desde el 15 de diciembre de 2026, abre Bing Webmaster Tools y registra una preferencia temporal de fundamentación. No hay un ajuste temporal de entrenamiento, así que el lado del entrenamiento descansa en el grupo de robots.txt y las etiquetas de página que ya publicaste.
Resultado esperado: el registro temporal mantiene tu elección de fundamentación para páginas que Microsoft aún no ha vuelto a rastrear. Microsoft dice que podría no volver a rastrear cada página entre el 1 de febrero y el 1 de marzo de 2027, que es por qué ambas mitades se requieren antes del 1 de marzo. Una preferencia temporal dura hasta que la página se vuelve a rastrear y se encuentra su nueva preferencia en la página, o hasta el 30 de septiembre de 2027, lo que ocurra primero. Omite el registro, y las páginas con etiquetas antiguas vuelven por defecto a Allow para fundamentación hasta que un nuevo rastreo encuentre la etiqueta nueva.
Paso 8: Publica y deja las etiquetas antiguas en su lugar por ahora
Acción: publica el archivo robots.txt actualizado en la raíz del dominio, y publica cualquier cambio de plantilla que lleve las etiquetas meta nuevas. Deja las etiquetas NoArchive y NoCache donde están.
Resultado esperado: las etiquetas antiguas no hacen daño durante la transición. Microsoft dice que si detecta preferencias nuevas de entrenamiento o fundamentación en un sitio, ignorará cualquier preferencia de NoArchive y NoCache que permanezca. Eliminar las etiquetas antiguas puede esperar hasta después del 1 de marzo de 2027, cuando dejan de contar como preferencias de IA en cualquier caso. Observa que NoArchive aún tiene su significado de búsqueda más antiguo sobre copias en caché para motores que lo leen de esa manera, que es una decisión separada de esta migración.
Verificación
Obtén el archivo en vivo y las páginas cambiadas desde fuera de tu editor, y lee lo que el servidor realmente sirve.
curl https://example.com/robots.txt
curl -s https://example.com/example-page/ | grep -i "ai-training\|ai-grounding"
curl -sI https://example.com/example-page/ | grep -i "x-robots-tag"
La primera salida muestra tu grupo nuevo con el token escrito exactamente como __usage_ai-training. La segunda y tercera salidas muestran las etiquetas a nivel de página en las páginas donde las definiste. Luego revisa lo único que la sintaxis no puede demostrar. Una preferencia publicada surte efecto solo cuando un proveedor rastrea y la lee, y Microsoft declara ese límite para su propio despliegue. IndexNow puede señalar que una página cambió y elevar la probabilidad de un nuevo rastreo, pero Microsoft no garantiza una fecha de nuevo rastreo, así que trata cualquier resultado temprano de prueba como una lectura del calendario, no como una falla del archivo.
Solución de problemas
| Problema | Causa probable | Solución |
|---|---|---|
| Ningún proveedor reacciona al grupo nuevo | El grupo está bajo el token comodín, o ningún grupo nombra el token | Agrega un grupo que nombre __usage_ai-training en su propia línea User-Agent |
| El grupo se ve correcto y no hace nada | El token está mal escrito, a menudo con un guion bajo inicial perdido | Vuelve a escribir el nombre con dos guiones bajos iniciales y publica el archivo de nuevo |
| El entrenamiento está bloqueado y la página aún aparece en respuestas de IA | La fundamentación nunca se definió, ya que el token cubre solo el entrenamiento | Agrega la etiqueta de fundamentación del Paso 6 a la página |
| Una página sigue la regla del sitio e ignora su propia etiqueta | La etiqueta nombra el bot incorrecto, o la forma de encabezado está mal formada | Usa el nombre Bingbot y las formas exactas en los Pasos 5 y 6 |
| Las restricciones antiguas desaparecen en marzo de 2027 | No se publicó ninguna preferencia nueva, o se omitió el registro de transición en Webmaster Tools | Publica las preferencias nuevas de inmediato y acepta que surten efecto en el nuevo rastreo |
| Las páginas salen de la búsqueda de Bing después de la edición | Un grupo de rastreador se bloqueó al editar el archivo | Restaura los grupos de rastreador desde tu respaldo y declara preferencias de uso con el token en cambio |
| Google trata el sitio como excluido y el tráfico de Gemini Apps se detiene | La exclusión compartida se leyó como un disallow de Google-Extended, porque Google-Extended no se nombró | Nombra Google-Extended en su propio grupo con la elección que pretendes para Google |
Próximos pasos
Pon dos fechas en tu calendario. La primera es el 1 de marzo de 2027, la fecha límite en este tutorial. La segunda es una revisión en la segunda mitad de 2027, cuando el soporte de Google debería llegar, el borrador se habrá revisado o habrá expirado, y los registros temporales de fundamentación se habrán agotado. Vuelve a revisar el estado del borrador en el datatracker de la IETF antes de esa visita, ya que un borrador individual no tiene posición formal y la forma del token aún podría cambiar.
Los sitios sin etiquetas antiguas de Microsoft tienen la versión fácil de este trabajo. Los Pasos 3 y 4 son toda la migración, y los Pasos 5 y 6 están allí cuando una sola página o la pregunta de fundamentación necesita una respuesta más fina. De cualquier modo, el archivo ahora dice lo que quieres decir en un lugar, y lo dice antes de que la fecha límite fuerce el asunto.
Pasos, sintaxis y fechas verificados contra el Borrador de Internet de la IETF para la señal de preferencia de entrenamiento, la publicación de Microsoft Bing sobre preferencias de entrenamiento y fundamentación, la publicación de Google Search Central sobre el control compartido de entrenamiento de IA y la publicación de OpenAI sobre preferencias de entrenamiento de IA, noviembre de 2026. Este procedimiento se verificó contra esos documentos. No se ejecutó como una migración en vivo en un sitio de producción en esta ejecución.
Fuentes
- Borrador de Internet, Machine Readable Training Preference Signal, IETF datatracker: https://datatracker.ietf.org/doc/html/draft-kelley-aipref-training-preference-signal-00
- Microsoft Bing, Your content, your choice, clearer preferences for training and grounding: https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
- Google Search Central, Supporting a shared AI training control for websites: https://developers.google.com/search/blog/2026/10/ai-training-control
- OpenAI, Making it easier for websites to express AI training preferences: https://openai.com/index/helping-websites-express-ai-training-preferences/
- Ilustraciones del cuerpo: Dirty Static, generadas en estilo de la casa
FIN DE LA TRANSMISIÓN
Mantén la curiosidad. Cuestiónalo todo.
