ChatGPT ne parvient pas à diagnostiquer les cas médicaux d’enfants. C’est faux dans 83 % des cas.
Une nouvelle étude suggère que ChatGPT doit retourner à la faculté de médecine.
ChatGPT d’OpenAI n’est pas près de remplacer vos médecins de famille, car le chatbot de plus en plus avancé n’a pas réussi à diagnostiquer avec précision la grande majorité des cas pédiatriques hypothétiques.
Les résultats faisaient partie d’une nouvelle étude publiée dans JAMA Pediatrics le 2 janvier, menée par des chercheurs du Cohen Children’s Medical Center à New York. Les chercheurs ont analysé les réponses du robot aux demandes de diagnostic médical de maladies infantiles et ont constaté que le robot présentait un taux d’erreur de 83 % dans tous les tests.
L’étude a utilisé ce que l’on appelle des défis de cas pédiatriques, ou des cas médicaux initialement publiés auprès de groupes de médecins, comme opportunités d’apprentissage (ou défis de diagnostic) impliquant des informations inhabituelles ou limitées. Les chercheurs ont échantillonné 100 défis publiés sur JAMA Pediatrics et NEJM entre 2013 et 2023.
ChatGPT a fourni des diagnostics incorrects pour 72 des 100 cas expérimentaux fournis et a généré 11 réponses jugées « cliniquement liées » au diagnostic correct, mais jugées trop larges pour être correctes.
Le tweet a peut-être été supprimé
Les chercheurs attribuent une partie de cet échec à l’incapacité de l’IA générative à reconnaître les relations entre certaines conditions et des circonstances externes ou préexistantes, souvent utilisées pour aider à diagnostiquer les patients en milieu clinique. Par exemple, ChatGPT n’a pas établi de lien entre les « affections neuropsychiatriques » (telles que l’autisme) et les cas courants de carence en vitamines et d’autres affections liées à un régime alimentaire restrictif.
L’étude conclut que ChatGPT a besoin d’une formation continue et de l’implication de professionnels de la santé qui alimentent l’IA non pas avec un puits d’informations généré par Internet, qui peut souvent générer de la désinformation, mais avec une littérature et une expertise médicales vérifiées.
Les chatbots basés sur l’IA s’appuyant sur des modèles linguistiques étendus (LLM) ont déjà été étudiés pour leur efficacité dans le diagnostic des cas médicaux et dans l’accomplissement des tâches quotidiennes des médecins. L’année dernière, des chercheurs ont testé la capacité de l’IA générative à réussir l’examen de licence médicale en trois parties aux États-Unis.
Mais même si elle reste fortement critiquée pour ses limites en matière de formation et son potentiel à exacerber les préjugés médicaux, de nombreux groupes médicaux, y compris l’American Medical Association, ne considèrent pas les progrès de l’IA dans ce domaine comme une simple menace de remplacement. Au lieu de cela, les IA mieux entraînées sont considérées comme mûres pour leur potentiel administratif et communicatif, comme générer des textes côté patient, expliquer des diagnostics en termes courants ou générer des instructions. Les utilisations cliniques, comme le diagnostic, restent un sujet controversé et difficile à rechercher.
Dans cette mesure, le nouveau rapport représente la première analyse du potentiel diagnostique d’un chatbot dans un cadre purement pédiatrique, reconnaissant la formation médicale spécialisée entreprise par des professionnels de la santé. Ses limites actuelles montrent que même le chatbot le plus avancé du marché public ne peut pas encore rivaliser avec l’ensemble de l’expertise humaine.
