El principal proveedor de obra de Internet Cloudflare ahora bloqueará los rastreadores web de IA conocidos de forma predeterminada para evitar que “accedan al contenido sin permiso o compensación”, según un anuncio el martes. Con el cambio, Cloudflare comenzará a preguntar a los nuevos propietarios de dominios si desean permitir los raspadores de IA, e incluso permitirá que algunos editores implementen una tarifa de “cuota por rastreo”.

El software Pay por Crawl permitirá a los editores establecer un precio para los raspadores de IA para penetrar a su contenido. Las compañías de IA pueden ver los precios y nominar si se registrarán para la tarifa de “cuota por rastreo” o recusar. Esto solo está acondicionado para “un congregación de algunos de los editores principales y creadores de contenido” por ahora, pero Cloudflare dice que garantizará que “las empresas de IA puedan usar el contenido de calidad de la modo correcta, con permiso y compensación”.

Cloudflare ha estado ayudando a los propietarios de dominios a contender contra los rastreadores de IA por un tiempo. La compañía comenzó a dejar que los sitios web Sitiar rastreadores de IA En 2023, pero solo se aplicó a los que cumplen con el archivo robots.txt de un sitio, el acuerdo inaplicable que señala si BOTS puede raer su contenido. Cloudflare comenzó permitiendo que los sitios web bloqueen “All” AI Bots el año pasado, ya sea que respeten el archivo Robots.txt de un sitio o no, y ahora esta configuración está habilitada de forma predeterminada para nuevos clientes de CloudFlare. (La compañía identifica a los raspadores para bloquearlos comparándolos con su cinta de bots de IA conocidos). Cloudflare todavía lanzó una característica en marzo que envía bots de tiro web a un “bulla de IA” para disuadirlos de los sitios de raspado sin permiso.

Varios editores importantes y plataformas en cuerda, incluidas La prensa Association, El atlántico, FortunaStack Overflow y Quora, están a borde de las nuevas restricciones de IA Crawler de Cloudflare, ya que los sitios web luchan con un futuro en el que más personas encuentran información a través de chatbots de IA, en sitio de motores de búsqueda. “La parentela confía más en la IA en los últimos seis meses, lo que significa que no están leyendo contenido flamante”, el CEO de Cloudflare, Matthew Prince dijo durante el evento en vivo de Axios la semana pasada.

Adicionalmente, Cloudflare dice que está trabajando con compañías de IA para ayudar a confirmar sus rastreadores y permitirles “establecer claramente su propósito”, como si están utilizando el contenido para la capacitación, la inferencia o la búsqueda. Los propietarios de sitios web pueden revisar esta información y determinar qué rastreadores dejar entrar.

“El contenido flamante es lo que hace que Internet sea uno de los mejores inventos en el siglo pasado, y tenemos que unirnos para protegerlo”, dijo Prince en el comunicado de prensa. “Los rastreadores de IA han estado raspando contenido sin límites. Nuestro objetivo es retornar a poner el poder en manos de los creadores, al tiempo que ayudan a las empresas de IA innovar”.