Nouvelles de la Journée de la Santé — Une proportion importante des réponses de l'intelligence artificielle (IA) aux questions liées aux soins primaires sont « exactes et comportent des informations manquantes », selon une étude récemment publiée en ligne dans le Journal américain de médecine préventive.
Joseph Kassab, MD, de la Cleveland Clinic Foundation, et ses collègues ont évalué la capacité de ChatGPT-4 et de Google Bard à fournir des recommandations précises en matière de médecine préventive et de soins primaires. L'analyse comprenait 56 questions présentées à ChatGPT-4 en juin 2023 et à Google Bard en octobre 2023, avec des réponses examinées de manière indépendante par deux médecins.
Les chercheurs ont constaté qu'après avoir atteint un consensus, 28,6 % des réponses générées par ChatGPT-4 étaient jugées exactes, 28,6 % inexactes et 42,8 % exactes avec des informations manquantes. Pour les réponses générées par Bard, 53,6 % ont été jugées exactes, 17,8 % inexactes et 28,6 % exactes avec des informations manquantes. Des inexactitudes notables (80 %) ont été détectées dans les deux modèles en réponse aux questions liées aux Centers for Disease Control and Prevention ainsi qu'à la vaccination.
« Une proportion importante des réponses des modèles d'IA ont été jugées « exactes avec des informations manquantes », soulignant l'importance de considérer les outils d'IA comme des ressources complémentaires lors de la recherche d'informations médicales », écrivent les auteurs. « Des études futures, répétant les évaluations à différents moments et incorporant un plus large éventail de formulations de questions pour le même sujet, seraient utiles pour tenir compte de la nature évolutive des données d'entraînement et des mises à jour des algorithmes des modèles d'IA. »
