Combattre les biais algorithmiques : qui ne veut pas de la transparence ?

En juillet dernier, le ministère de la santé refusait de publier le code source de l’application « mon espace santé », remettant à plus tard ses obligations de transparence. La France est un pays en apparence pionnier en matière de transparence : la loi pour une République Numérique introduit dès 2016 un certain nombre d’obligations pour éviter l’opacité des algorithmes utilisés par les administrations. Pourtant, les différents scandales comme celui de l’algorithme Parcoursup, ou celui de la CAF (qui aujourd’hui est porté auprès du Conseil d’État), ont mis en lumière la difficulté d’obtenir les informations des algorithmes publics, montrant ainsi une facette bien moins exemplaire de cette transparence à la française. La question de la transparence algorithmique se pose également pour les systèmes développés et de plus en plus déployés par des acteurs privés. En effet, il est encore plus difficile d’obtenir les algorithmes privés, puisqu’ils sont très souvent protégés par le secret des affaires, et que les acteurs privés sont soumis à bien moins d’obligations de transparence.

Les algorithmes peuvent contenir des biais ayant des conséquences préjudiciables sur la vie des personnes : refus de remboursement de soins, traitements médicaux inadaptés, non-allocation d’aide financière, refus de crédit financier, etc. Parmi les outils pour éviter ces biais algorithmiques, c’est la transparence qui est à la base de tout : elle permet l’explicabilité, l’application des responsabilités, l’ouverture aux droits de recours, et donc la protection des droits des personnes. En effet, en ayant accès au système il est ensuite possible de l’auditer, l’évaluer, de repérer les potentielles erreurs, de les corriger, et de contester les résultats.

LA SANTÉ FACE À L’OPACITÉ ALGORITHMIQUE

La santé est un secteur hybride composé d’une variété d’acteurs soumis à différentes réglementations, suivant leur statut. Les acteurs privés (cliniques, mutuelles, entreprises « bien-être ») sont soumis au droit privé, et les acteurs publics (hôpitaux) au droit public. De fait, si les acteurs privés et publics peuvent délivrer le même type de services essentiels au soin, ils ne sont pas soumis au même degré d’exigence légale. Ceci installe une certaine hétérogénéité dans le secteur et rend la question de la transparence algorithmique davantage complexe.

Les algorithmes utilisés par les hôpitaux publics ne sont généralement pas soumis aux dispositions du Code des Relations entre le Public et l’Administration (CRPA), et échappent de fait à ses dispositions sur la transparence. Ce sont les décisions administratives individuelles qui sont concernées¹, et les algorithmes utilisés par les hôpitaux dans un cadre thérapeutique (aide à la décision dans les diagnostics, lecture de radiologie…) ne sont pas considérés comme tels : les décisions médicales ne sont pas des décisions administratives. Seule une obligation d’information au patient est consacrée par le code de santé publique² (CSP), mais elle n’est pas suffisante pour faire lumière sur les potentiels biais que l’algorithme renferme. Les hôpitaux jouissent également d’une liberté administrative et financière³, ce qui entraîne une différence dans les technologies utilisées et dans l’organisation même des établissements, ajoutant une difficulté supplémentaire pour connaître les outils d’IA utilisés par chaque hôpital. À ce jour, il n’existe pas de registre national unifié regroupant l’ensemble des dispositifs d’IA utilisés par les établissements publics de santé, ce qui renforce l’opacité déjà existante.

Le règlement européen sur l’IA (ou AI Act) pose des obligations de transparence pour les systèmes d’IA à hauts risques (dont les dispositifs médicaux font partie) mais des lacunes subsistent. D’une part, la transparence n’est pas stricte et absolue : des exceptions existent. D’autre part, les outils d’IA utilisés dans le soin qui ne sont pas catégorisés comme « dispositifs médicaux » (par exemple les outils de surveillance tels que les capteurs de prise alimentaire⁴), ne sont pas soumis à cette exigence de transparence.

Les organismes de Sécurité Sociale comme la CPAM sont en revanche soumis aux obligations du CRPA susmentionnées, puisque les décisions de remboursement des soins sont de nature administrative. Malgré cela, l’obtention des algorithmes utilisés par la CPAM reste un défi, et l’on ne connaît pas aujourd’hui les détails de ces derniers⁵. On retrouve la même résistance du côté de la CAF⁶, et on observe les mêmes phénomènes dans plusieurs pays d’Europe. C’est notamment le cas en Espagne où les services de sécurité sociale n’ont pas été plus coopératifs que leurs équivalents français (alors que des biais discriminatoires similaires composaient le système de lutte contre les fraudes).

Se pose ensuite la question de la transparence des algorithmes détenus par des acteurs privés, et qui ont un impact sur la santé, comme ceux des mutuelles. Alors qu’ils peuvent affecter directement la santé des personnes et avoir de graves conséquences (voir notamment l’exemple de Medicare advantage aux États-Unis), ces algorithmes sont soumis à bien moins d’exigences de transparence, et peuvent en plus être protégés par le secret des affaires. Si la transparence des algorithmes publiques est imparfaite, la transparence des algorithmes privés est quasi inexistante.

LA TRANSPARENCE ALGORITHMIQUE DES SERVICES DE L’ÉTAT

L’introduction de systèmes d’intelligence artificielle au sein des services de l’État est la promesse d’une « plus grande performance de leur action au bénéfice des citoyens⁷ ». Cette promesse n’échappe malheureusement pas aux risques de biais discriminatoires ou de dysfonctionnements, qui peuvent avoir de sérieuses conséquences sur les droits des citoyens dépendants de ces services à bien des égards (paiement des impôts, bénéfice d’allocation sociale, remboursement des soins, inscription aux écoles et établissement d’enseignement supérieur, etc.). La transparence des systèmes algorithmiques est de fait d’une importance fondamentale, pour un service public efficace qui tient ses promesses de modernité, tout en préservant les droits de chaque citoyen et citoyenne.

La France est l’un des pays d’Europe pionnier en matière de transparence des algorithmes publics, et a été moteur d’initiatives pour éviter l’opacité algorithmique. La promulgation de loi sur la République numérique, un texte législatif qui encadre spécifiquement la transformation numérique des services de l’État, en est l’illustration première.

Malheureusement, les scandales autour de Parcoursup et de la CAF installent de gros doutes quant à l’exemplarité des services publics sur la transparence des algorithmes utilisés. En effet, différentes exceptions (sécurité publique, sécurité des systèmes d’information des administrations…)⁸ peuvent être opposées à la transparence lorsque la publication d’un algorithme est demandée. C’est le spectre du secret des affaires de l’État qui plane sur la transparence algorithmique, et qui empêche souvent la société civile d’effectuer correctement sa mission de surveillance. Néanmoins, il est à noter que l’affaire relative à la CAF qui est portée auprès du Conseil d’État pour de possibles entorses au RGPD⁹ ouvre une opportunité pour l’amélioration de la transparence au sein de l’ensemble des services publics.

La France est également un pays européen où il existe un grand nombre de registres d’algorithmes publics, notamment au niveau des villes (exemples de la ville de Paris, de Nantes, ou d’Antibes). Malheureusement, ces registres qui devaient servir la transparence sont éparpillés, difficiles à trouver, alors même qu’Etalab (département de la direction interministérielle du numérique en charge de coordonner la conception et la mise en œuvre de la stratégie de l’État dans le domaine de la donnée) devait encourager et accompagner les administrations dans le chemin vers la transparence et l’implantation des registres. Ce sont finalement des militants qui ont fait le travail en publiant récemment un inventaire des algorithmes publics sur la page de l’ODAP, une initiative ayant pour objectif de « répondre à l’opacité de l’administration algorithmique ». La création des registres est pourtant mentionnée par l’AI Act (article 71). La France aurait donc tout intérêt à entamer ce travail d’unification de registre d’algorithmes, pour sa conformité avec le droit européen, et pour une meilleure protection des droits des usagers.

Au-delà de la mise en place de registres, il existe des solutions pour que la transparence devienne concrète. Dans un rapport récemment publié, le Défenseur des Droits expose l’ensemble des limites et enjeux posées par l’algorithmisation des services publics, et explicite les lacunes de la transparence algorithmique au sein des services de l’État. Les recommandations de cette autorité publique indépendante offrent à la France des pistes d’action efficaces qu’il est urgent de mettre en place pour un service public qui tienne ses promesses. Ces recommandations incluent notamment l’introduction d’une sanction en cas de non publication du traitement algorithmique, la mise en place d’observatoires locaux ou de recensement national des algorithmes, l’enrichissement et valorisation du guide Etalab, la consécration d’un droit à l’explication, et le fait de soutenir les projets associatifs sur le sujet.

ACTEURS PRIVÉS : UNE TRANSPARENCE RELATIVE

Les acteurs privés se plaignent souvent des différentes obligations qui pèsent sur leur activités, notamment quand il s’agit du développement de nouvelles technologies : la transparence des algorithmes privés serait un frein à l’innovation.

Usant de leur influence, les géants de la big tech impactent les discussions qui précèdent l’adoption des réglementations (comme ce fut le cas avec l’AI Act). Les entreprises sont ainsi bien souvent exemptées d’obligations qui seraient pourtant essentielles à la protection des personnes, et au travail de la société civile dans la prévention des risques.

C’est ce qu’on observe avec l’AI act, où l’enregistrement des systèmes d’IA à hauts risques au sein d’un registre européen incombe seulement aux systèmes d’IA catégorisés « hauts risques » utilisés par les acteurs publics et les acteurs privés effectuant une mission de service public. C’est également le cas pour l’obligation d’effectuer des études d’impact sur les droits fondamentaux (FRIA) que seuls les acteurs publics et les acteurs privés exécutant une mission de service public doivent mettre en place.

La transparence reste cruciale à la protection des personnes. Les acteurs privés ayant de plus en plus de place dans le quotidien des individus, il est essentiel qu’ils soient concernés par ces dispositions. Il s’agit de savoir si l’on parle d’un service essentiel ou non, la transparence étant cruciale qu’importe si le service est offert par un acteur privé ou public. C’est spécifiquement le cas dans le secteur de la santé où acteurs privés et publics s’entremêlent, impactant à la même échelle les droits et la vie des utilisateurs des services de soins.

Il y a aujourd’hui une réflexion de fond à mener sur le sujet de la transparence, et un travail conséquent dans l’implémentation de l’AI Act, notamment en ce qui concerne la définition et la précision de ses termes, puisque cela peut conditionner l’application de certains articles. C’est le cas de la notion de services publics qui diffère selon les États membres et qui conditionne pourtant l’application des registres publics qui servent la transparence. La notion de service public est d’autant plus fondamentale au secteur hybride de la santé où cohabite une multitude d’acteurs privés et publics, agissant à différents niveaux du parcours de soin.

De façon générale, il apparaît urgent de faire de la transparence une réalité concrète, pour assurer la protection des droits fondamentaux des personnes dès l’implantation d’algorithmes, et durant tout leur cycle de vie.