Intelligenza artificiale, Luca Pani: il caso ChatGpt. Grado di affidabilità da valutare
ChatGPT, nuovo strumento open source di elaborazione del linguaggio naturale, grazie all'intelligenza artificiale, di elaborare testi anche a carattere scientifico
Nel novembre 2022, OpenAI ha rilasciato ChatGPT, un nuovo strumento open source di elaborazione del linguaggio naturale in grado, grazie all'intelligenza artificiale, di elaborare testi anche a carattere scientifico. Ma con quale grado di affidabilità? A porre la questione sono proprio gli scienziati come spiega, sul numero di Puntoeffe 2/2023, Luca Pani professore di psichiatria all'Università di Miami e professore di Farmacologia all'Università di Modena e Reggio Emilia.
Un nuovo strumento open source, oltre le chatbox
Come anticipato su queste pagine qualche anno or sono, le chatbox alimentate dall'intelligenza artificiale (Ai) si stanno diffondendo a macchia d'olio e in tutti i campi. Le ultime arrivate, di cui si parla tanto negli ultimi mesi, sono quelle che aiutano gli autori a migliorare la preparazione e la qualità dei loro manoscritti scientifici. Sono strumenti di assistenza per la scrittura, la grammatica, il linguaggio e i riferimenti bibliografici ma, anche, per l'analisi statistica e gli standard di reportistica. Dal canto loro, i redattori e gli editori utilizzano strumenti assistiti dall'Ai per una miriade di scopi, tra cui vagliare le proposte per individuare eventuali problemi (per esempio, plagio, manipolazione di immagini, problemi etici), convalidare i medesimi riferimenti, modificare e codificare i contenuti per la pubblicazione su diversi media. A questo proposito, nel novembre 2022, OpenAI ha rilasciato un nuovo strumento open source di elaborazione del linguaggio naturale chiamato ChatGPT. Si tratta di un'evoluzione di un chatbot progettato per simulare la conversazione umana in risposta a richieste o domande (Gpt sta per Generative pretrained transformer). Il rilascio ha suscitato un'immediata eccitazione per i suoi numerosi usi potenziali, ma anche preoccupazioni per il potenziale uso improprio, come il timore per l'uso del suo modello linguistico per falsificare i compiti a casa, scrivere saggi per sostenere esami, compresi quelli - negli Stati Uniti e in altri Paesi - per l'abilitazione alla professione medica.
Autori non umani già indicizzati in PubMed e Google Scholar
Nel gennaio 2023 Nature ha pubblicato, nelle sezioni scienza e salute, due preprint e due articoli che includevano ChatGPT come autore. Ognuno di questi riportava un'affiliazione e un indirizzo per ChatGPT, e uno degli articoli aveva persino un indirizzo e-mail per l'"autore" non umano. Secondo Nature, l'inclusione di ChatGPT nella byline degli autori è stata un "errore che sarà presto corretto". Tuttavia la frittata è fatta e questi articoli e i loro "autori" non umani sono già indicizzati su PubMed e Google Scholar. Da allora Nature ha definito una politica per guidare l'uso dei modelli linguistici su larga scala nelle pubblicazioni scientifiche, che vieta di nominare tali strumenti come «autore accreditato in un articolo di ricerca», perché «l'attribuzione della paternità comporta la responsabilità del lavoro, e gli strumenti di intelligenza artificiale non possono assumersi tale responsabilità». Si consiglia ai ricercatori che utilizzano questi strumenti di documentarlo nelle sezioni Metodi o Ringraziamenti dei manoscritti. Altre riviste e organizzazioni stanno rapidamente sviluppando politiche che vietano l'inclusione di queste tecnologie non umane come "autori". Si va dal divieto di includere il testo generato dall'Ai nei lavori presentati alla richiesta di piena trasparenza, responsabilità e rendicontazione di come tali strumenti sono stati utilizzati e riportati nelle pubblicazioni scientifiche. La comunità dell'editoria scientifica ha rapidamente espresso preoccupazioni sul potenziale uso improprio di questi modelli linguistici nella pubblicazione scientifica ma, come sempre, non ha fatto nulla per anticiparlo o impedirlo, dimostrando di essere molto impreparata sull'argomento.
OpenAI: risposte plausibili ma errate o insensate
Il vero problema al momento è un altro. Quando si pongono a ChatGPT una serie di domande su argomenti scientifici controversi o importanti (per esempio, se le vaccinazioni infantili causano l'autismo), i risultati dimostrato che le risposte testuali di ChatGPT, pur essendo per lo più ben scritte, sono formule linguistiche, non aggiornate, o addirittura false o inventate, senza riferimenti accurati o completi e, peggio ancora, con prove inventate e inesistenti pescate a caso su centinaia di milioni di dati in rete per supportare affermazioni o le dichiarazioni fatte. OpenAI ha quindi riconosciuto alcuni limiti del suo modello linguistico, tra cui quello di fornire "risposte plausibili ma errate o insensate", e ha affermato che il recente rilascio fa parte di una sperimentazione aperta e iterativa destinata all'uso umano, in particolare volta all'interazione e al feedback per migliorarlo. Questo riconoscimento cautelativo è un chiaro segnale che il modello non è pronto per essere usato come fonte di informazioni affidabili, e certamente non senza la trasparenza e responsabilità umana per il suo uso. Il che non esclude assolutamente che potrebbe essere pronto... molto presto.
Luca Pani Professore di psichiatria all'Università di Miami e professore di Farmacologia all'Università di Modena e Reggio Emilia
Per approfondire Jama. doi:10.1001/jama.2023.1344 Published online January 31, 2023.
Pubblicati i regolamenti dei due nuovi strumenti di confronto con pazienti, istituzioni e operatori del settore. Prevista la creazione di un Registro di trasparenza con informazioni sugli incontri...
Per contrastare l’antibiotico-resistenza servono studi clinici più snelli, sostegno all’innovazione e modelli economici sostenibili per lo sviluppo di nuovi antibiotici. L’Ema punta su scienza...
La delegazione Aifa guidata dal presidente Robert Nisticò ha incontrato il Ministero della Salute giapponese e l’agenzia regolatoria Pharmaceuticals and Medical Devices Agency per confrontarsi su...
Dopo una fase pilota di due anni, l’Agenzia europea del farmaco introduce nuove modalità di dialogo scientifico per accelerare lo sviluppo e le preparazioni delle domande di autorizzazione.
A cura di Cristoforo Zervos
Resta aggiornato con noi!
La tua risorsa per news mediche, riferimenti clinici e formazione.
Dichiaro di aver letto e accetto le condizioni di privacy
Presentata a Roma l’ottava edizione dell’iniziativa itinerante dedicata alla prevenzione, che dal 2018 ha già realizzato oltre 70mila consulti gratuiti. Federfarma partecipa con attività...