[04/07/2025] Cloudflare ha anunciado que es el primer proveedor de infraestructura de Internet que bloquea de forma predeterminada el acceso de los rastreadores de IA a contenidos sin permiso ni compensación. Según lo señalado en el comunicado de prensa, a partir de hoy, los propietarios de sitios web pueden elegir si quieren que los rastreadores de IA accedan a su contenido y decidir cómo las empresas de IA pueden utilizarlo.
"Las empresas de IA ahora también pueden establecer claramente su propósito, si sus rastreadores se utilizan para entrenamiento, inferencia o búsqueda, para ayudar a los propietarios de sitios web a decidir qué rastreadores permitir. La nueva configuración predeterminada de Cloudflare es el primer paso hacia un futuro más sostenible tanto para los creadores de contenido como para los innovadores de IA”, sostuvo Matthew Prince, cofundador y CEO de Cloudflare.
El ejecutivo comentó que, durante décadas, Internet ha funcionado con un intercambio simple: los motores de búsqueda indexan el contenido y dirigen a los usuarios a los sitios web originales, generando tráfico e ingresos publicitarios para sitios web de todos los tamaños. "Este ciclo recompensa a los creadores que producen contenido de calidad con dinero y seguidores, al tiempo que ayuda a los usuarios a descubrir información nueva y relevante. Ese modelo ahora está roto. Los rastreadores de IA recopilan contenido como texto, artículos e imágenes para generar respuestas, sin enviar a los visitantes a la fuente original, lo que priva a los creadores de contenido de ingresos y de la satisfacción de saber que alguien está viendo su contenido. Si desaparece el incentivo para crear contenido original y de calidad, la sociedad acaba perdiendo y el futuro de Internet está en riesgo”.
En ese sentido, Prince comentó que, si Internet va a sobrevivir a la era de la IA, hay que dar a los editores el control que se merecen y construir un nuevo modelo económico que funcione para todos: los creadores, los consumidores, los fundadores de IA del mañana y el futuro de la propia web. "El contenido original es lo que hace de Internet uno de los mayores inventos del siglo pasado, y es esencial que los creadores continúen haciéndolo. Los rastreadores de IA han estado raspando contenido sin límites. Nuestro objetivo es devolver el poder a los creadores, sin dejar de ayudar a las empresas de IA a innovar. Se trata de salvaguardar el futuro de una Internet libre y vibrante con un nuevo modelo que funcione para todos".
Aplicación de un modelo basado en permisos para Internet
El ejecutivo anotó que Cloudflare está dando el siguiente paso para aplicar un modelo basado en permisos para los rastreadores de IA. "Las empresas de IA ahora deberán obtener permiso explícito de un sitio web antes de realizar scraping. Al registrarse en Cloudflare, ahora se le preguntará a cada nuevo dominio si desea permitir rastreadores de IA, dando a los clientes la opción por adelantado de permitir o denegar explícitamente el acceso a los rastreadores de IA. Este cambio significa que cada nuevo dominio comienza con el control predeterminado y elimina la necesidad de que los propietarios de páginas web configuren manualmente sus ajustes para optar por no participar. Los clientes pueden comprobar fácilmente su configuración y habilitar el rastreo en cualquier momento si desean que se acceda libremente a su contenido”.
Prince finalizó señalando que, ahora, Cloudflare está haciendo que el ecosistema de contenidos sea más transparente para las empresas y los creadores de IA. La compañía propuso recientemente nuevas formas para que los bots de IA se autentiquen, así como para que los sitios web identifiquen a esos bots, lo que brinda a los creadores y propietarios de sitios web nuevos mecanismos de identificación y control sobre qué rastreadores quieren permitir. Cloudflare participa en el desarrollo de un nuevo protocolo para proporcionar a los propietarios de bots y a los desarrolladores de agentes de IA una forma pública y estándar de identificarse.
Franca Cavassa, CTOPerú