Les informations médicales sur les allergies médicamenteuses fournies par ChatGPT se sont avérées refléter les lignes directrices acceptées, bien que les sources fournies comportent des erreurs, selon les résultats présentés lors de la réunion annuelle de l'American Academy of Allergy, Asthma & Immunology qui s'est tenue du 23 au 26 février 2024 à Washington DC.
La popularité de ChatGPT, un chatbot d’intelligence artificielle (IA), a amené les chercheurs de la Cleveland Clinic à s’interroger sur sa fiabilité en tant que fournisseur d’informations médicales. Pour évaluer ses capacités, les chercheurs ont demandé au chatbot de fournir des informations sur la prévalence, les symptômes, les tests de diagnostic, la gestion et la prévention des allergies médicamenteuses. L'instrument DISCERN a été utilisé pour évaluer la qualité des informations fournies par le chatbot et 4 évaluateurs ont été chargés de déterminer si les réponses de l'IA correspondaient aux directives AAAAI/ACAAI sur les allergies médicamenteuses.
Les résultats ont montré que ChatGPT fournissait des informations de qualité passable à bonne (score DISCERN de 3,44/5), 76 % des informations correspondant aux recommandations des lignes directrices. « Le score Fleiss κ était de 0,65, ce qui représentait un accord substantiel entre les évaluateurs des réponses ChatGPT », ont ajouté les auteurs.
Cependant, le chatbot n’a pas réussi à fournir des sources précises, 60 % étant constituées de pages Web expirées. Vingt-sept pour cent des sources contenaient des liens non pertinents ou inexacts et 13 % incluaient des liens non spécifiques.
« Les informations ChatGPT d'intelligence artificielle sur les allergies médicamenteuses semblaient refléter les directives actuellement acceptées en matière d'allergies/immunologie, mais le chatbot était une source d'informations peu fiable en raison d'erreurs dans toutes les sources fournies », ont conclu les auteurs.
