The Japan Times - L'IA non è ancora pronta a dare consigli sulla salute, l'esperimento

I chatbot basati sull'intelligenza artificiale non sono ancora pronti a dispensare consigli sulla salute: non sempre riescono a interagire correttamente con i potenziali pazienti e spesso forniscono risposte equivocabili o potenzialmente fuorvianti. Lo dimostra un esperimento pubblicato sulla rivista Nature Medicine dall'Università di Oxford. Lo studio ha coinvolto quasi 1.300 persone online, alle quali sono stati sottoposti dieci diversi scenari medici (che vanno dal giovane che lamenta un forte mal di testa dopo una serata fuori con gli amici fino alla neomamma che si sente costantemente senza fiato ed esausta). Per ciascuno scenario, i partecipanti dovevano cercare di capire quale potesse essere il problema di salute alla base e valutare se fosse il caso di chiamare il medico di famiglia o un'ambulanza: come supporto potevano utilizzare un modello linguistico di grandi dimensioni (come GPT-4o, Llama 3 o Command R+) oppure potevano affidarsi alle loro risorse abituali, come i classici motori di ricerca su Internet. In parallelo, i ricercatori hanno sottoposto gli stessi scenari medici ai chatbot in condizioni controllate, fornendo loro la descrizione del problema di salute senza che ci fosse un dialogo diretto con utenti umani reali. I risultati dimostrano che quando i test sono stati condotti senza partecipanti umani, gli Llm hanno identificato correttamente i problemi di salute nel 94,9% dei casi e hanno scelto una linea d'azione corretta nel 56,3% dei casi. Tuttavia, quando erano i partecipanti umani a interrogare gli Llm sottoponendo i sintomi indicati negli scenari medici, i problemi di salute rilevanti venivano identificati in meno del 34,5% dei casi e una linea d'azione corretta veniva scelta in meno del 44,2% (risultati che non sono stati migliori rispetto a quanto ottenuto dal gruppo di controllo formato dai partecipanti che hanno usato i classici motori di ricerca del web). In 30 casi in particolare, i ricercatori sono andati a ispezionare manualmente le interazioni intercorse tra gli esseri umani e gli Llm e hanno scoperto che i partecipanti spesso fornivano informazioni incomplete o errate all'IA, ma anche che i chatbot a volte generavano informazioni fuorvianti o errate.

T.Ikeda--JT