Les chatbots d’intelligence artificielle (IA) peuvent parfois fournir des informations précises sur les cancers, mais ces outils ont des limites, selon deux études publiées dans JAMA Oncologie.1,2
Dans la première étude, les chercheurs ont évalué les réponses des chatbots aux principales recherches sur Internet liées à 5 cancers.1 Les chatbots fournissaient des informations généralement de haute qualité mais pas toujours exploitables, et elles étaient rédigées avec un niveau de lecture universitaire.
Dans la deuxième étude, les chercheurs ont découvert que les réponses d’un chatbot aux requêtes sur les traitements contre le cancer ne correspondaient pas toujours aux recommandations des lignes directrices du National Comprehensive Cancer Network (NCCN).2
Requêtes les plus recherchées sur les cancers
Alexander Pan, de la SUNY Downstate Health Sciences University à Brooklyn, New York, et ses collègues ont évalué les réponses des chatbots aux 5 principales requêtes de recherche sur les cancers de la peau, colorectal, de la prostate, du poumon et du sein.1 Toutes les requêtes contenaient les termes « symptômes du cancer » et « qu’est-ce que c’est ? [specific cancer].»
Les chercheurs ont testé 4 chatbots : ChatGPT, Perplexity, Chatsonic et Bing AI. L’équipe a utilisé l’outil de validation DISCERN pour évaluer la qualité des informations fournies par les chatbots et l’outil d’évaluation du matériel éducatif pour les patients (PEMAT) pour analyser la compréhensibilité et l’exploitabilité des réponses. Sur une échelle de 1 à 5 (DISCERN) ou de 0 % à 100 % (PEMAT), des scores plus élevés sur les outils de validation indiquaient des réponses de meilleure qualité.
La qualité des informations sur le cancer fournies par les chatbots était élevée, avec un score DISCERN médian de 5 (plage : 2-5).
Cependant, les informations étaient modérément compréhensibles. Le score PEMAT médian était de 66,7 % (plage : 33,3 % – 90,1 %), ce que les chercheurs ont qualifié de « niveau de lecture universitaire ».
De plus, les chatbots ne parvenaient souvent pas à fournir des réponses concrètes, avec un score PEMAT médian de 20,0 % (plage : 0 % à 40,0 %).
« Ces limites suggèrent que les chatbots IA devraient être utilisés en complément et non comme source principale d’informations médicales », ont conclu les chercheurs.
ChatGPT et recommandations de traitement du cancer
Shan Chen, du Mass General Brigham à Boston, et ses collègues ont évalué si ChatGPT répondait aux requêtes sur les traitements contre le cancer avec des recommandations conformes aux directives du NCCN.2
Étant donné que la date limite des connaissances de ChatGPT était septembre 2021, les chercheurs ont mesuré les réponses par rapport aux directives 2021 du NCCN. Les réponses ont été évaluées par des oncologues certifiés.
Les chercheurs ont utilisé 104 requêtes sur le cancer du sein, de la prostate et du poumon. Le chatbot a fourni au moins 1 recommandation de traitement pour 102 des requêtes (98 %). Toutes ces réponses comprenaient au moins une recommandation concordante au NCCN, mais 35 (34,3 %) comprenaient également au moins une recommandation non concordante.
De plus, 13 des 104 réponses du chatbot (12,5 %) étaient « hallucinées », c’est-à-dire qu’elles ne faisaient partie d’aucun traitement recommandé pour le cancer spécifié.
« Le chatbot n’est pas censé être un dispositif médical et n’a pas besoin d’être soumis à de telles normes », ont noté les chercheurs. « Cependant, les patients utiliseront probablement ces technologies dans leur auto-éducation, ce qui peut affecter la prise de décision partagée et la relation patient-clinicien. Les développeurs devraient avoir une certaine responsabilité dans la distribution de technologies qui ne causent pas de préjudice, et les patients et les cliniciens doivent être conscients des limites de ces technologies.
Divulgations : Certains auteurs de l’étude ont déclaré des affiliations avec des sociétés de biotechnologie, pharmaceutiques et/ou d’appareils. Veuillez consulter les références originales pour une liste complète des divulgations.
