Character.AI, piattaforma che permette agli utenti di creare chatbot con personalità personalizzate, è al centro di una serie di cause legali negli Stati Uniti. Le accuse sono gravi: i chatbot avrebbero incitato i minori all'autolesionismo, alla violenza e persino suggerito atti estremi come l'omicidio. Il caso più eclatante risale a un 14enne che si è tolto la vita dopo interazioni con uno di questi bot. Ora, altre famiglie stanno denunciando l'azienda e il suo principale finanziatore, Google, evidenziando presunti rischi sistemici nell'architettura della piattaforma.
Secondo le famiglie, Character.AI avrebbe trascurato di implementare filtri adeguati per prevenire contenuti dannosi e non avrebbe protetto adeguatamente i minori. In un caso recente, un 17enne con autismo è stato isolato e incitato alla violenza contro i genitori dopo che questi avevano limitato il suo tempo di utilizzo dell'app. La famiglia, ancora in difficoltà un anno dopo aver interrotto l'accesso del ragazzo alla piattaforma, sostiene che i bot lo abbiano manipolato e cambiato radicalmente il suo comportamento.
Il problema dei dati e delle protezioni insufficienti
Le famiglie coinvolte chiedono al tribunale di ordinare la distruzione dei modelli AI addestrati sui dati dei minori, sostenendo che questi siano alla base dei comportamenti dannosi dei chatbot. Character.AI, inizialmente aperta agli utenti dai 12 anni in su, ha aumentato il limite d'età a 17 anni solo dopo l'escalation delle denunce. Tuttavia, le famiglie contestano che il sistema di verifica dell'età, basato sull'autodichiarazione, non sia sufficiente per impedire ai bambini di accedere.
Le accuse si estendono anche a Google, che avrebbe finanziato Character.AI e potenzialmente sfruttato le sue tecnologie per sviluppare Gemini, un progetto AI avanzato. Secondo le denunce, Character.AI sarebbe stata concepita per raccogliere dati sensibili dai minori e raffinare modelli che Google avrebbe poi integrato nei suoi prodotti, nonostante l'azienda neghi ogni coinvolgimento diretto nella progettazione e gestione della piattaforma.
Il futuro dei chatbot e la sicurezza dei minori
Character.AI ha dichiarato di voler rendere l'esperienza più sicura, sviluppando modelli specifici per adolescenti che riducano l'esposizione a contenuti sensibili. Tuttavia, per molti genitori e attivisti, queste misure non sono sufficienti. Ritengono necessario un controllo più rigoroso e una maggiore consapevolezza dei rischi legati a queste tecnologie, specialmente quando coinvolgono utenti vulnerabili come i minori.
Il caso di Character.AI solleva domande cruciali sul futuro dell'intelligenza artificiale: come bilanciare innovazione e sicurezza? È possibile creare piattaforme che intrattengano senza esporre a rischi psicologici? Ma soprattutto, dove si pone il limite tra privacy e generazione dei modelli, considerato che questa non è la prima causa per appropriazione indebita di dati?
