De l’importance de la double vérification humaine pour les déploiements IA

En France, lors d’un récent exposé lors de la journée de la filière Intelligence artificielle et cancer, le directeur de la commission de la transparence de la Haute Autorité de Santé (HAS) a souligné l’importance qu’il y avait à faire preuve de prudence dans le déploiement (ou le rythme de déploiement) de l’intelligence artificielle dans le secteur de la santé, notamment pour l’évaluation des médicaments (un projet de déploiement d’un outil IA pour cette évaluation est en cours de déploiement outre-Quiévrain).

Il a ainsi recommandé qu’il soit systématiquement procédé à un “double check […] à chaque fois pour maîtriser le taux d’erreur, qui reste encore relativement important, ou les oublis. […] A ce stade, tout doit être contrôlé par l’humain.”

En cause, dans l’état actuel des choses, un manque de fiabilité et la subsistance d’“hallucinations” de l’IA, comme l’a encore démontré une situation récente intervenue outre-Atlantique où l’outil Elsa déployé (en phase pilote) par la Food and Drug Administration a… cité des études inexistantes !

Cet outil Elsa s’appuie sur un LLM (grand modèle de langage) basé sur la technologie d’Anthropic et est destiné “à accélérer les évaluations scientifiques, à faciliter l’accès aux données complexes et à optimiser l’ensemble de ses processus réglementaires”.