Cloudflare Transformó Internet y Esto Afecta a los Gigantes de la IA
La era de la rastreabilidad de IA sin restricciones parece estar llegando a su fin, al menos para la quinta parte de internet que fluye a través de los servicios de Cloudflare. Desde el 1 de julio, Cloudflare ha bloqueado de manera predeterminada los rastreadores web de IA que acceden al contenido de los sitios web sin permiso o compensación.
La decisión de Cloudflare y sus implicaciones
Este movimiento aborda un problema real. Mi propio sitio, donde sigo todas mis historias, Practical Technology, ha sido ralentizado en múltiples ocasiones por los rastreadores de IA. No soy el único; numerosos propietarios de sitios han reportado que los rastreadores de IA, como GPTBot de OpenAI y ClaudeBot de Anthropic, generan un volumen masivo de solicitudes automatizadas que congestionan los sitios web, haciéndolos tan lentos como lodo.
Por ejemplo, GoogleBot informa que la plataforma de alojamiento en la nube Vercel abruma los sitios que aloja con más de 4.5 mil millones de solicitudes al mes. Estos bots de IA suelen rastrear los sitios mucho más agresivamente que los rastreadores de motores de búsqueda tradicionales, regresando a las mismas páginas cada pocas horas o incluso golpeando sitios con cientos de solicitudes por segundo.
Reacción del sector de contenido
No es de extrañar que Cloudflare, en nombre de sus más de dos millones de clientes que representan el 20% de la web, haya decidido bloquear a estos rastreadores. Para cualquier nuevo sitio que se registre en sus servicios, los rastreadores de IA serán bloqueados de forma automática, a menos que el propietario del sitio otorgue permiso explícito.
Además, Cloudflare se compromete a detectar rastreadores “sombría”, aquellos bots que intentan evadir la detección, mediante el uso de análisis de comportamiento y aprendizaje automático. Lo que es bueno para el ganso de IA, es bueno para la ganza.
Las consecuencias de esta nueva política
Este cambio revierte el statu quo anterior, donde los dueños de sitios tenían que optar por salir del rastreo de IA. Ahora, el bloqueo es la norma, y los proveedores de IA deberán solicitar acceso y aclarar sus intenciones, ya sea para entrenamiento de modelos, búsqueda u otros usos, antes de que se les permita ingresar.
Esto se origina no solo de los propietarios de sitios frustrados, sino también de numerosas empresas editoriales que han visto cómo las compañías de IA han estado “minando” el contenido de la web a menudo sin compensación o consentimiento, ignorando protocolos estándar como robots.txt que están destinados a bloquear rastreadores.
¿Qué sigue para Cloudflare y el negocio de IA?
Como bien enfatizó el CEO de Cloudflare, Matthew Prince, en un comunicado: su nueva política está destinada a “dar a los editores el control que merecen y construir un nuevo modelo económico que funcione para todos: creadores, consumidores, futuros fundadores de IA y el futuro de la web misma.”
Para complementar la decisión de bloquear los rastreadores de IA, Cloudflare también ha lanzado su programa “Pago por rastreo”, que permite a los editores establecer sus propias tarifas para las empresas de IA que desean raspar su contenido.
En general, esto representa un gran cambio. Gracias a Cloudflare, que potencia una porción tan grande de internet, una cantidad significativa de contenido web podría volverse inaccesible para las empresas de IA a menos que negocien el acceso o paguen tarifas de licencia.
Por ahora, el futuro parece incierto y las grandes medidas, como las de Cloudflare, marcarán el rumbo de la relación entre la tecnología IA y los derechos de contenido en la web.
Para más contenido especializado y actualizaciones, suscríbete a nuestro boletín de noticias.
Comments ()