Il recente strumento di ricerca di ChatGPT, sviluppato da OpenAI, si trova sotto i riflettori per potenziali vulnerabilità che potrebbero aprire la strada a manipolazioni e contenuti dannosi. Un'indagine condotta dal Guardian ha evidenziato come il sistema possa essere ingannato attraverso l'uso di testo nascosto su pagine web, influenzando i risultati e generando risposte che potrebbero deviare gli utenti.
Il problema del testo nascosto e delle manipolazioni
Secondo l'indagine, il sistema di ricerca di ChatGPT può essere alterato utilizzando contenuti nascosti in una pagina web, una tecnica nota come "prompt injection". Questo tipo di manipolazione può convincere ChatGPT a restituire recensioni positive su prodotti, ignorando recensioni negative presenti sulla stessa pagina. Ad esempio, una pagina web creata appositamente con recensioni false e istruzioni nascoste è stata in grado di influenzare il sistema, portandolo a generare una risposta completamente positiva su un prodotto, indipendentemente dal contenuto effettivo delle recensioni.
Jacob Larsen, esperto di sicurezza presso CyberCX, ha avvertito che questo tipo di vulnerabilità potrebbe essere sfruttato da malintenzionati per costruire siti web progettati specificamente per ingannare gli utenti. Tuttavia, Larsen ha anche sottolineato che la funzionalità di ricerca è ancora in fase di test e che OpenAI potrebbe risolvere queste problematiche prima del lancio su larga scala.
Codice dannoso e rischi per gli sviluppatori
Un ulteriore rischio riguarda la possibilità che ChatGPT restituisca codice malevolo proveniente da siti web compromessi. Un caso recente, riportato dal ricercatore di sicurezza Thomas Roccia di Microsoft, ha visto un utente perdere 2.500 dollari dopo aver utilizzato codice generato da ChatGPT per un progetto di criptovaluta. Il codice, apparentemente legittimo, includeva invece un meccanismo per sottrarre le credenziali dell'utente.
Karsten Nohl, scienziato capo presso SR Labs, ha avvertito che questi strumenti dovrebbero essere usati come "co-piloti" e non come fonti di verità assoluta. Secondo Nohl, i modelli di linguaggio come ChatGPT sono vulnerabili, essendo "tecnologie molto fiduciose, quasi infantili, con una memoria enorme ma poco giudizio critico".
La combinazione di motori di ricerca e modelli di linguaggio di grandi dimensioni (LLM) potrebbe portare a cambiamenti significativi nelle pratiche online. Tradizionalmente, i motori di ricerca come Google penalizzano i siti che utilizzano testo nascosto, ma l'uso di queste tecniche per ingannare l'IA potrebbe cambiare il panorama.
