Cloudflare Bloqueará por Defecto los Crawlers de IA
El proveedor de arquitectura de internet también permitirá que algunos editores hagan que los rastreadores de IA conocidos paguen para rastrear sus sitios.
El importante proveedor de arquitectura de internet Cloudflare dará un paso decisivo al bloquear por defecto los rastreadores de IA conocidos para evitar que «accedan a contenido sin permiso o compensación», según anunció el martes. Con este cambio, Cloudflare comenzará a preguntar a los nuevos propietarios de dominios si desean permitir a los raspadores de IA, e incluso permitirá a algunos editores implementar una tarifa de «Pago por Raspado».
El programa de Pago por Raspado permitirá a los editores establecer un precio para que los raspadores de IA accedan a su contenido. Las empresas de IA podrán entonces consultar los precios y decidir si registrarse para la tarifa de «Pago por Raspado» o rechazarla. Por el momento, esto solo está disponible para «un grupo de algunos de los principales editores y creadores de contenido», pero Cloudflare asegura que garantizará que «las empresas de IA puedan usar contenido de calidad de la manera correcta: con permiso y compensación».
Cloudflare ha estado ayudando a los propietarios de dominios a combatir a los rastreadores de IA desde hace un tiempo. La compañía comenzó a permitir que los sitios web bloquearan a los rastreadores de IA en 2023, pero solo se aplicaba a aquellos que cumplían con el archivo robots.txt de un sitio, el acuerdo no vinculante que indica si los bots pueden raspar su contenido. Cloudflare comenzó a permitir a los sitios bloquear «todos» los bots de IA el año pasado, independientemente de si respetaban el archivo robots.txt del sitio o no, y ahora esta configuración se habilita por defecto para los nuevos clientes de Cloudflare. La empresa identifica a los raspadores que debe bloquear comparándolos con su lista de bots de IA conocidos. Cloudflare también implementó una función en marzo que envía a los bots de raspeo web a un «Labirinto de IA» para disuadirlos de raspar sitios sin permiso.
Varios editores importantes y plataformas en línea, incluidos The Associated Press, The Atlantic, Fortune, Stack Overflow y Quora, están de acuerdo con las nuevas restricciones de rastreadores de IA de Cloudflare, ya que los sitios web se enfrentan a un futuro en el que más personas buscan información a través de chatbots de IA, en lugar de motores de búsqueda. “Las personas han comenzado a confiar más en la IA durante los últimos seis meses, lo que significa que no están leyendo contenido original”, dijo el CEO de Cloudflare, Matthew Prince, durante el evento Axios Live de la semana pasada.
Además, Cloudflare asegura que está trabajando con empresas de IA para ayudar a verificar sus rastreadores y permitirles «dejar claro su propósito», como si están utilizando el contenido para entrenamiento, inferencia o búsqueda. Los propietarios de sitios web podrán entonces revisar esta información y decidir qué rastreadores dejar entrar.
“El contenido original es lo que hace que Internet sea una de las grandes invenciones del último siglo, y tenemos que unirnos para protegerlo”, dijo Prince en el comunicado de prensa. “Los rastreadores de IA han estado raspando contenido sin límites. Nuestro objetivo es devolver el poder a las manos de los creadores, mientras seguimos ayudando a las empresas de IA a innovar.”
Para más detalles, consulta el artículo original en The Verge.
¡No olvides suscribirte a nuestro newsletter para obtener contenido más especializado!
Comments ()