Madrid, 1 de julio. En un movimiento que refleja la creciente necesidad de control sobre el acceso a la información digital, Cloudflare ha presentado un conjunto de herramientas diseñadas para que los propietarios de sitios web gestionen de manera efectiva la interacción de los rastreadores de inteligencia artificial (IA) con su contenido. La nueva propuesta incluye la posibilidad de restringir el acceso o incluso monetizar la visita de estos rastreadores a través de un sistema de pagos.

Tradicionalmente, los administradores de páginas web han tenido a su disposición el archivo robots.txt para limitar el rastreo de motores de búsqueda a ciertas secciones de su contenido. Sin embargo, Cloudflare califica este recurso como “infrautilizado”, ya que apenas el 37% de los 10,000 dominios más relevantes lo implementan de manera efectiva.

Los rastreadores de búsqueda desempeñan un papel fundamental al atraer tráfico y ayudar a los creadores de contenido a monetizar sus páginas, ya que facilitan su indexación. Sin embargo, la aparición de rastreadores que utilizan la información para entrenar modelos de IA, sin generar tráfico adicional, ha planteado desafíos importantes a la comunidad digital.

De acuerdo a información proporcionada por Cloudflare, de ese 37% de dominios que utilizan el archivo robots.txt, son pocos los que han incorporado directrices específicas para bloquear a los bots de IA más reconocidos, como los de OpenAI, Anthropic y Google. Esta falta de acción deja a muchos creadores de contenido vulnerables frente a la explotación no autorizada de su trabajo.

Cloudflare sostiene que es esencial que los propietarios de sitios web ejerciten control sobre la actividad de estos bots en sus plataformas. Esto resuena entre los creadores que han invertido tiempo y esfuerzo en generar contenido original y que ahora buscan protegerlo del uso indebido en el entrenamiento de modelos de IA.

Para abordar esta preocupación, Cloudflare ha habilitado un nuevo botón que permite a sus clientes activar el archivo robots.txt, facilitando la regulación del tráfico generado por bots de IA. Los usuarios pueden ajustar la configuración para permitir el acceso a ciertas áreas de sus sitios web, mientras restringen otras, como secciones que contienen anuncios.

Además, la plataforma ofrece una nueva opción para que los propietarios de contenido puedan cobrar a los rastreadores de IA por el acceso a su material. “En lugar de optar por un bloqueo total o un acceso sin restricciones, pretendemos empoderar a los creadores para que puedan monetizar su contenido de manera sostenible”, afirman desde Cloudflare.

El sistema de pago por rastreo está diseñado para integrarse en la infraestructura web existente, creando un nuevo marco que permita a los propietarios de contenido establecer un modelo de acceso de pago. Actualmente, esta función se encuentra en una fase de desarrollo beta privado, anticipando un cambio significativo en la relación entre los creadores de contenido y los rastreadores de IA.