Patient Numérique

Début décembre (2023), le texte du règlement IA européen a donc franchi la ligne d’arrivée. Pour rappel, le projet de règlement “Artificial Intelligence Act” (AI Act) avait été élaboré en avril 2021, amendé en novembre 2022 et avait été soumis ensuite à de nouvelles analyses et à quelques amendements, devant notamment tenir compte de l’avancée accélérée des technologies et donc des perspectives applications de l’intelligence artificielle.

Rappelons que l’objectif déclaré de cet AI Act est de “favoriser le développement et l’adoption, dans l’ensemble du marché unique, d’une IA sûre et licite qui respecte les droits fondamentaux”.

Le règlement AI Act s’appuie sur le principe du degré de risque que représente une solution IA. Les conditions de gouvernance et de mise en oeuvre (ou non) d’une solution IA dans l’espace européen seront donc modulées en fonction de ce degré de risque – risque minime, risque limité, haut risque, risque inacceptable.

Au niveau de “risque minime”, la solution est considérée comme ne présentant aucun risque d’impact sur les droits fondamentaux de l’homme et ne nécessite donc aucune législation.

A contrario, les dispositifs et solutions considérés comme impliquant un “risque inacceptable” ne pourront être mis sur le marché. Exemple de risque jugé inacceptable, un système d’intelligence artificielle qui exploiterait les vulnérabilités dues à l’âge ou à un handicap.

Un cran plus bas, les solutions présentant un “haut risque” – et le secteur des soins de santé est directement concerné – devront se plier à un ensemble d’obligations et devront répondre à un éventail de critères. Exemple de système considéré comme comportant (potentiellement) un risque élevé : dispositifs médicaux. 

Un “contrôle humain” devra être mis en oeuvre, proportionné au degré de risque, d’automatisation et au contexte d’utilisation. Ce contrôle devra être le fait de “personnes disposant d’un niveau suffisant de maîtrise de l’IA”. Soulignons encore que ce “contrôle”, cette surveillance devra se faire sur le long terme, prenant donc en compte toute modification apportée au système ou toute évolution induite par des considérations technologiques ou encore économiques.

Par ailleurs les acteurs chargés du déploiement de la solution devront être en mesure d’“appréhender les capacités pertinentes et les limites du système (surveillance du fonctionnement, détection d’anomalies, de dysfonctionnements, de performances inattendues…) ; d’être conscient de la possibilité de biais d’automatisation ; d’interpréter correctement les résultats ; de décider, dans certaines situations, de ne pas utiliser le système ou d’annuler les résultats ; de pouvoir interrompre le système de manière sécurisée”.

Les dispositifs médicaux (notamment) sont dans le viseur

Plusieurs articles du Règlement AI Act font mention des dispositifs médicaux comme étant un exemple type de système IA à haut risque. Précisant qu’ils devront “faire l’objet d’une vérification dans le cadre des procédures existantes d’évaluation de la conformité prévues dans les actes appropriés du nouveau cadre législatif” et “seront soumis aux mêmes mécanismes ex ante et ex post de mise en conformité et de contrôle de l’application que ceux applicables aux produits dont ils sont des composants.

AI Act : “Dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement importants, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes soutenant les décisions humaines devraient être fiables et précis.”

Quelles sont les obligations des fournisseurs de systèmes d’IA à haut risque ? Mettre en place un système de gestion de la qualité ; établir une documentation technique du système IA à haut risque ;  veiller à ce que le système IA à haut risque soit soumis à la procédure d’évaluation de la conformité applicable avant sa mise sur le marché ou sa mise en service.

Quant aux utilisateurs professionnels de systèmes d’IA à haut risque, ils devront, eux aussi, respecter un certain nombre d’obligations, notamment “utiliser les systèmes d’IA à haut risque conformément à leurs notices d’utilisation, suspendre l’utilisation du système en cas d’incident grave ou de dysfonctionnement du système ou encore réaliser le cas échéant une analyse d’impact”.

Autres cas d’usage 

L’identification biométrique et les applications qui reconnaissent automatiquement les émotions sont par définition classées comme à haut risque.

Or, on les retrouve déjà dans des solutions novatrices dans le secteur de la santé. En effet, la reconnaissance faciale est et pourra être utilisée, par exemple, pour autoriser l’accès à des dossiers, à des données de santé, pour aider au triage des patients lors de leur admission, pour identifier certaines pathologies génétiques, ou encore pour identifier automatiquement (avec ou sans supervision humaine) un “ressenti” de douleur, une émotion ressentie par le patient. Jusqu’où pourra-t-on aller ? La décision se prendra potentiellement au cas par cas.

Ajoutons encore qu’une disposition d’“étiquetage” obligatoire est prévue, autrement dit l’obligation de mentionner clairement que tel contenu a été généré (en tout ou en partie) par l’IA. Cela vaut pour les chatbots, évidemment pour les “deep fakes” ou autres contenus générés par l’IA.

En matière d’IA générative, en particulier les dernières – et futures – générations d’outils du genre ChatGPT, Dall-E, Bard et consorts, des obligations supplémentaires de transparence seront de rigueur, modulées en fonction du degré de risque systémique qu’ils présentent. Parmi ces obligations, citons “la rédaction d’une documentation technique, la mise en conformité avec la législation européenne sur les droits d’auteur et la mise à disposition de résumés détaillés concernant les contenus utilisés pour l’entraînement” du système ou dispositif.

AI Act : “In health, the European health data space will facilitate non-discriminatory access to health data and the training of artificial intelligence algorithms on those datasets, in a privacy-preserving, secure, timely, transparent and trustworthy manner, and with an appropriate institutional governance. Relevant competent authorities, including sectoral ones, providing or supporting the access to data may also support the provision of high-quality data for the training, validation and testing of AI systems.”