Cloudflare ha annunciato AI Labyrinth, un nuovo sistema di mitigazione basato sull’intelligenza artificiale per contrastare i crawler AI e altri bot che ignorano le direttive “no crawl”. Questo approccio genera automaticamente contenuti AI per rallentare, confondere e consumare risorse dei bot non autorizzati, senza necessità di configurazioni aggiuntive da parte degli utenti. AI Labyrinth è disponibile per tutti i clienti, inclusi quelli con il piano gratuito, e si attiva con un semplice toggle nel pannello di controllo di Cloudflare.

L’uso della GenAI come strumento difensivo

L’intelligenza artificiale generativa ha visto una crescita esponenziale, con una percentuale significativa dei contenuti online generati da AI. Tuttavia, l’aumento dei crawler AI, utilizzati per raccogliere dati per l’addestramento di modelli, ha creato nuove sfide. Ogni giorno, i crawler AI generano infatti oltre 50 miliardi di richieste sulla rete Cloudflare, rappresentando quasi l’1% del traffico totale. Bloccare questi bot può segnalare agli attaccanti la necessità di modificare la loro strategia, innescando un ciclo senza fine di adattamenti.

Con AI Labyrinth, invece di bloccare i crawler, vengono generate pagine AI che li attraggono in un labirinto di contenuti inutili. Questo spreco di tempo e risorse riduce la loro efficacia nell’estrazione di dati utili per l’addestramento dei modelli.

Quando un crawler AI viene rilevato, Cloudflare genera un insieme di pagine interconnesse con contenuti generati dall’intelligenza artificiale. Questi contenuti sembrano autentici ma non contengono informazioni reali del sito, inducendo i bot a esplorare una rete di pagine fittizie senza accedere ai dati originali.

Cloudflare AI Labyrinth

Oltre a confondere i bot, AI Labyrinth funge anche da honeypot avanzato. Un utente umano non navigherà mai a fondo in una serie di pagine generate casualmente, mentre un bot lo farà, rivelando così la propria natura automatizzata. Questo sistema consente di identificare e tracciare nuovi schemi di comportamento dei bot, migliorando continuamente i modelli di rilevamento.

Implementazione e sicurezza

Per creare contenuti convincenti, AI Labyrinth utilizza Workers AI e modelli open-source per generare pagine su argomenti vari, mentre per garantire la sicurezza i contenuti sono pre-generati, evitando rischi di XSS (Cross-Site Scripting), e archiviati su R2 per un recupero rapido. I metadati impediscono l’indicizzazione sui motori di ricerca, e i link generati restano invisibili agli utenti reali.

I link verso queste pagine vengono aggiunti dinamicamente attraverso la trasformazione HTML personalizzata, senza alterare la struttura originale del sito. Solo i bot non autorizzati ricevono questi link, mentre gli utenti legittimi e i crawler verificati possono navigare normalmente.

Inoltre, a differenza degli honeypot tradizionali che si basano su link nascosti facilmente individuabili dai bot moderni, AI Labyrinth crea una rete dinamica di URL collegati tra loro. Questo lo rende più difficile da rilevare e più efficace nel distrarre e identificare i crawler automatizzati e ogni tentativo di scraping arricchisce il database Cloudflare, migliorando continuamente la protezione per tutti i clienti.