Trump et Kennedy veulent assouplir les règles de sécurité pour les outils d'IA en santé

Paul Boyer, psychothérapeute au sein du géant de la santé Kaiser Permanente à Oakland, en Californie, vit de près la révolution de l’intelligence artificielle dans le domaine médical. Pourtant, son enthousiasme est modéré. L’entreprise a récemment déployé un nouvel ensemble de logiciels de prise de notes automatisées, développés par Abridge, un pionnier de l’IA appliquée à la santé. Ces outils promettent de résumer en un temps record les consultations des patients. Pour de nombreux cliniciens, cette technologie représente une solution bienvenue face à la charge administrative et auxpaperasses qui pèsent sur leur quotidien.

Cependant, pour Boyer et ses collègues, ces outils automatisés créent de nouvelles difficultés. Boyer qualifie le logiciel de « pas très utile ». Les professionnels de santé se retrouvent souvent à corriger les notes générées par l’IA. « Abridge ne parvient pas à saisir les nuances cliniques ni le ton émotionnel, essentiels dans le domaine de la santé mentale », explique-t-il. Par exemple, pour les patients en phase maniaque, ce n’est pas tant le contenu du discours qui compte, mais la manière dont il est exprimé. Or, le logiciel peine à détecter ces subtilités.

Les logiciels de prise de notes automatisées ne sont plus une promesse d’avenir : ils sont déjà une réalité dans de nombreux hôpitaux à travers le pays. Et les recherches commencent à en révéler certains bénéfices. Une étude publiée en avril dans le Journal of the American Medical Association, portant sur cinq hôpitaux, révèle que les médecins utilisant ces outils le plus fréquemment économisent plus de trente minutes de travail par jour, un an après leur installation. Plusieurs études basées sur des entretiens montrent également que les professionnels de santé apprécient ces outils dans les services où ils sont déployés.

Pourtant, comme l’exemple de Boyer le démontre, des questions persistent quant à la qualité de ces systèmes. Alors que les cliniciens passent du temps à corriger les erreurs des logiciels, les chercheurs en sécurité s’inquiètent : les professionnels pourraient ne pas être suffisamment vigilants pour repérer toutes les erreurs. Cela pourrait entraîner, à l’avenir, une dépendance des médecins à des informations erronées.

Abridge affirme évaluer ses outils à chaque étape de leur déploiement, y compris en comparant les nouvelles versions avec les précédentes. « Après le déploiement d’un modèle, nous surveillons les modifications apportées par les cliniciens, les notes attribuées, ainsi que les retours libres des utilisateurs sur la qualité des notes », précise Davis Liang, directeur des sciences appliquées chez Abridge, dans un communiqué adressé à KFF Health News.

Les logiciels de prise de notes par IA ne sont qu’une partie d’une vague d’outils intelligents qui envahissent le secteur de la santé. Cliniciens et défenseurs de la sécurité des patients s’alarment : les réglementations actuelles ne sont pas adaptées pour prévenir les risques liés à ces technologies, notamment la possibilité qu’elles omettent ou déforment des détails cruciaux sur l’état des patients, au détriment de leur santé.

« Il n’existe actuellement aucun mécanisme de contrôle » pour valider ces logiciels de prise de notes au niveau fédéral, déclare Raj Ratwani, chercheur spécialisé dans les facteurs humains — c’est-à-dire l’interaction entre les humains et la technologie — au sein de MedStar Health, un grand système hospitalier basé dans le Maryland. Ratwani craint que les garde-fous ne s’affaiblissent davantage. Les règles proposées par l’Office of the National Coordinator for Health IT — l’organisme qui régule les dossiers médicaux électroniques, pierre angulaire des soins aux patients — pourraient, selon lui, réduire les exigences en matière de clarté, d’accessibilité et de transparence des dossiers médicaux, notamment concernant l’utilisation de l’IA. Un dossier médical incompréhensible pourrait semer la confusion parmi les cliniciens et favoriser les erreurs.

Depuis l’administration Obama, le département américain de la Santé et des Services sociaux encourage, via son bureau des technologies de l’information, une « conception centrée sur l’utilisateur ». Pourtant, cette approche semble aujourd’hui menacée par les évolutions rapides de l’IA en santé.