Entretien avec Hannah van Kolfschooten, Chercheuse et maître de conférences au Law Centre for Health and Life (LCHL) de l’Université d’Amsterdam. Elle enseigne et coordonne actuellement le cours de droit international et européen de la santé dans le cadre du programme de Master en droit de la santé de l’université d’Amsterdam. Elle est également doctorante à l’Amsterdam Institute for Global Health and Development (AIGHD) et membre affiliée de l’Amsterdam Centre for European Law and Governance (ACELG). Le sujet de sa thèse est la réglementation européenne de la prise de décision algorithmique en matière de santé publique et de soins de santé et se concentre sur la sauvegarde des droits des patients.
1. Pourquoi est-il important de réglementer l’intelligence artificielle, en particulier dans le secteur de la santé ?
L’utilisation des technologies de l’IA dans les soins de santé peut renforcer des schémas systémiques et sociétaux profondément enracinés de préjugés et de discrimination en matière de santé, et ce de trois manières.
Premièrement, les systèmes d’IA sont souvent formés à partir de données « biaisées », en raison par exemple de la sous-représentation de certains groupes de population, la présence de stéréotypes nuisibles ou de modèles de discrimination. Il existe de nombreux exemples de biais ethniques manifestés par les outils d’IA dans le secteur de la santé, par exemple des taux de performance inférieurs pour le diagnostic du cancer de la peau par l’IA chez les personnes de couleur. En outre, la manière dont les systèmes d’IA sont conçus exclut certains groupes de population de l’accès aux soins de santé, comme les personnes ayant une faible culture numérique.
Enfin, la manière dont les systèmes d’IA sont utilisés peut également être injuste, par exemple lorsque seuls les grands hôpitaux bien financés peuvent s’offrir ces systèmes, alors que les établissements sous-financés n’en utilisent que très peu. Si elle n’est pas réglementée, cette situation aura une incidence sur l’accès aux soins et leur qualité et menacera les droits des patients, en particulier ceux des groupes de population déjà défavorisés.
2. Quelle est la valeur ajoutée de la proposition de réglementation européenne sur l’IA pour encadrer l’IA dans le domaine de la santé, par rapport à d’autres législations existantes ?
Actuellement, il n’existe pas de réglementation spécifique pour l’IA utilisée dans le domaine de la santé. Lorsque les produits d’IA sont considérés comme des « dispositifs médicaux », ils doivent satisfaire à certaines exigences de sécurité et de qualité en vertu du règlement relatif aux dispositifs médicaux, mais il n’existe pas d’exigences supplémentaires en matière de transparence ou d’explicabilité des dispositifs médicaux utilisant l’IA.
L’AI Act ajoute une couche de protection supplémentaire à ce régime, en particulier pour les systèmes à haut risque, par exemple en fixant des exigences en matière de qualité des données. Elle introduit également des dispositions bienvenues en matière de transparence, par exemple l’enregistrement dans une base de données de l’UE et l’obligation d’informer les personnes sur l’utilisation de la reconnaissance des émotions (qui est utilisée dans les soins aux personnes âgées).
En plus de ça, les longues discussions politiques autour de l’AI Act semblent avoir sensibilisé davantage aux risques de l’IA pour les droits fondamentaux, y compris dans le domaine des soins de santé.
3. Quelles sont les limites de l’AI Act telle qu’elle est formulée actuellement ?
La principale limite de l’AI Act pour les soins de santé est qu’il s’agit d’une réglementation « horizontale » (ses dispositions s’appliquent à tous les secteurs) alors que les soins de santé constituent un marché très spécifique. Cela a des conséquences sur la protection que l’AI Act offre aux patients.
Par exemple, l’AI Act protège principalement les « utilisateurs » des systèmes d’IA, mais dans le domaine des soins de santé, l’assureur, l’hôpital ou le professionnel de santé est souvent celui qui « utilise » le système d’IA. Le patient – celui qui est exposé au risque – est donc exclu de l’équation.
Une autre limite de la proposition de la Commission européenne est l’absence d’une évaluation obligatoire de l’impact sur les droits fondamentaux pour les développeurs, qui prenne spécifiquement en compte les droits de la santé.
Une autre lacune est la limitation de la catégorie « à haut risque » aux dispositifs médicaux, alors qu’un grand nombre de systèmes d’IA utilisés dans les soins aux personnes âgées ou sur les smartphones ne sont pas considérés comme des dispositifs médicaux. D’autres limites sont l’exclusion des systèmes d’IA utilisés pour la sécurité nationale, pensez par exemple à tous les systèmes liés au corps dans les aéroports, ou aux applications Covid-19.
Enfin, la proposition du Parlement européen de donner aux développeurs la possibilité de décider si leurs systèmes ne présentent pas de risque élevé – si elle est approuvée lors des négociations – affaiblira considérablement la protection offerte par la loi sur l’IA.
;
