Nouvelles de la Journée de la Santé — Les chatbots génèrent des informations pour la plupart précises sur les requêtes médicales élaborées par les médecins, selon une étude publiée en ligne le 2 octobre dans Réseau JAMA ouvert.
Rachel S. Goodman, de l’École de médecine de l’Université Vanderbilt à Nashville, Tennessee, et ses collègues ont examiné l’exactitude et l’exhaustivité des réponses générées par les chatbots aux requêtes médicales élaborées par les médecins. Au total, 33 médecins répartis dans 17 spécialités ont généré 284 questions classées comme faciles, moyennes ou difficiles et comportant des réponses binaires (oui/non) ou descriptives. Les réponses générées par le chatbot ont été notées en fonction de leur exactitude (échelle de Likert à 6 points) et de leur exhaustivité (échelle de Likert à 3 points).
Les chercheurs ont constaté que le score médian de précision était de 5,5 pour toutes les questions (entre presque complètement et complètement correct), avec un score moyen de 4,8 (entre principalement et presque complètement correct). Les scores d’exhaustivité médian et moyen étaient tous deux de 2,5 (complet et exhaustif). Les scores médians de précision étaient respectivement de 6,0, 5,5 et 5,0 pour les questions jugées faciles, moyennes et difficiles (scores moyens de 5,0, 4,7 et 4,6, respectivement). Pour les questions binaires et descriptives, les scores d’exactitude étaient similaires (médiane, 6,0 contre 5,0, respectivement ; moyenne, 4,9 contre 4,7, respectivement). Trente-quatre des 36 questions avec des scores de 1,0 à 2,0 ont été réutilisées ou reclassées huit à 17 jours plus tard, avec une amélioration considérable notée (score médian de 2,0 à 4,0).
« Bien que les réponses générées par le chatbot aient affiché des scores élevés d’exactitude et d’exhaustivité dans diverses spécialités, types de questions et niveaux de difficulté dans cette étude transversale, des développements supplémentaires sont nécessaires pour améliorer la fiabilité et la robustesse de ces outils avant l’intégration clinique », les auteurs écrire.
Plusieurs auteurs ont révélé des liens avec l’industrie biopharmaceutique.
