L’AI Act (règlement (UE) 2024/1689) repose sur une approche de classification des systèmes d’IA en fonction de leur niveau de risque. Parmi ces catégories, certaines pratiques sont considérées comme inacceptables et font l’objet d’une interdiction explicite.
Ces pratiques sont définies à l’article 5, qui établit une liste fermée d’usages interdits en raison de leurs effets sur les droits fondamentaux, notamment la capacité de décision, l’égalité de traitement et la vie privée.
À la suite de l’adoption du règlement, la Commission européenne a proposé des ajustements dans le cadre de l’Omnibus numérique sur l’IA. Cette proposition introduit notamment de nouvelles pratiques interdites, en particulier liées à certains usages de l’IA générative, afin de tenir compte des évolutions technologiques récentes.
I – Techniques subliminales, manipulatrices ou trompeuses
Sont interdits les systèmes d’IA qui recourent à des techniques subliminales, agissant en dessous du seuil de conscience, ou à des procédés délibérément manipulatoires ou trompeurs, lorsque ceux-ci ont pour effet d’altérer de manière substantielle le comportement d’une personne.
La qualification repose sur un élément central : l’atteinte à la capacité à prendre une décision éclairée, conduisant la personne à adopter un comportement qu’elle n’aurait pas eu autrement, avec un risque de préjudice important.
Exemple : une application qui exploite des biais cognitifs pour inciter un utilisateur à effectuer des achats ou des investissements qu’il n’aurait pas réalisés en situation normale.
II – Exploitation des vulnérabilités
Les systèmes d’IA qui exploitent les vulnérabilités liées à l’âge, au handicap ou à la situation sociale ou économique sont également interdits.
L’interdiction s’applique lorsque ces vulnérabilités sont utilisées pour influencer de manière significative le comportement d’une personne ou d’un groupe, en entraînant un préjudice réel ou probable.
Exemple : un système qui cible des personnes en difficulté financière avec des offres personnalisées les incitant à contracter des crédits inadaptés peut relever de cette catégorie.
III – Évaluation ou classification de personnes (« social scoring »)
Les systèmes d’IA utilisés pour évaluer ou classer des personnes sur la base de leur comportement social ou de caractéristiques personnelles sont interdits lorsqu’ils aboutissent à des conséquences défavorables spécifiques.
Deux situations sont visées. D’une part, lorsque ces évaluations sont utilisées dans des contextes différents de celui dans lequel les données ont été collectées. D’autre part, lorsqu’elles entraînent un traitement défavorable injustifié ou disproportionné au regard du comportement observé.
Exemple : un score attribué à une personne sur la base de son comportement en ligne, utilisé ensuite pour refuser un service sans lien direct avec ce comportement.
IV – Évaluation du risque d’infraction pénale
Il est interdit d’utiliser des systèmes d’IA pour évaluer ou prédire le risque qu’une personne physique commette une infraction pénale, lorsque cette évaluation repose uniquement sur le profilage ou sur des traits de personnalité.
Le texte distingue cette situation de l’usage d’un système en appui à une analyse humaine fondée sur des faits objectifs et vérifiables directement liés à une activité criminelle, qui reste autorisé.
Exemple : un outil attribuant un niveau de risque criminel à partir de caractéristiques personnelles ou de données comportementales générales, sans lien direct avec une infraction.
V – Création de bases de données de reconnaissance faciale par moissonnage non ciblé
Les systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale à partir du moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance sont interdits.
Cette interdiction vise la constitution de bases de données massives sans contrôle sur l’origine des données ni sur le consentement des personnes concernées.
Exemple : un système entraîné à partir de millions d’images collectées automatiquement sur des réseaux sociaux sans information des utilisateurs.
VI – Inférence des émotions dans le travail et l’éducation
L’utilisation de systèmes d’IA pour inférer les émotions est interdite lorsqu’elle intervient dans des contextes spécifiques, à savoir le lieu de travail et les établissements d’enseignement.
Seules des exceptions limitées sont prévues, notamment lorsque l’usage est justifié par des finalités médicales ou de sécurité.
Exemple : un système évaluant l’engagement ou le stress des employés à partir de leurs expressions faciales ou de leur voix dans un cadre professionnel.
VII – Catégorisation biométrique fondée sur des données sensibles
Les systèmes de catégorisation biométrique sont interdits lorsqu’ils permettent de déduire ou d’inférer des informations sensibles, telles que l’origine raciale, les opinions politiques, les convictions religieuses ou l’orientation sexuelle.
L’objectif est d’empêcher l’utilisation des données biométriques comme base d’analyse ou de classification de caractéristiques protégées.
Exemple : un système capable de déduire les opinions politiques d’une personne à partir de traits biométriques ou d’images.
VIII – Identification biométrique à distance en temps réel dans l’espace public à des fins répressives
L’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives est en principe interdite.
Des exceptions existent, mais elles sont strictement limitées à certaines situations, notamment la recherche de personnes disparues, la prévention d’une menace grave et imminente ou l’identification d’une personne suspectée d’infraction grave. Ces usages sont encadrés par des exigences de nécessité, de proportionnalité et d’autorisation préalable.
IX – Nouvelles pratiques introduites par l’Omnibus sur l’AI
L’Omnibus sur l’AI vient compléter ce cadre en intégrant des usages récents liés notamment à l’IA générative.
Sont visés les systèmes capables de générer ou manipuler des contenus particulièrement sensibles, notamment :
- du matériel d’abus sexuel sur mineurs,
- des images, vidéos ou enregistrements audio représentant les parties intimes d’une personne identifiable ou des activités sexuelles explicites sans son consentement.
Un exemple concret est celui des applications dites de « nudification », qui permettent de générer artificiellement des images intimes d’une personne à partir de photos existantes.
Ces pratiques sont considérées comme portant une atteinte grave à la dignité, à la vie privée et à l’intégrité des personnes, ce qui justifie leur inclusion dans la catégorie des usages interdits.
X – Sanctions en cas de non-respect
Le non-respect des interdictions relatives aux pratiques d’IA entraîne les sanctions les plus élevées prévues par le règlement.
Les amendes peuvent atteindre 35 millions d’euros ou 7 % du chiffre d’affaires annuel mondial, le montant le plus élevé étant retenu. Ce niveau de sanction reflète la gravité des atteintes visées et distingue clairement ces pratiques des autres manquements prévus par l’AI Act.
Conclusion
Les pratiques interdites de l’AI Act traduisent une exigence structurante : certains usages de l’intelligence artificielle ne peuvent pas être autorisés dès lors qu’ils portent atteinte de manière grave aux droits fondamentaux. Leur identification repose sur une analyse précise des effets du système, en particulier sur la capacité de décision, l’égalité de traitement et le respect de la vie privée.
Pour les organisations, une mauvaise qualification peut conduire à déployer un système qui relève en réalité d’une interdiction, avec un risque immédiat de non-conformité et d’exposition à des sanctions maximales. L’enjeu est donc d’anticiper, dès la phase de conception, les cas d’usage susceptibles d’entrer dans le champ de l’article 5 et de documenter ces analyses.
👉 Vous devez identifier les pratiques interdites dans votre portefeuille de systèmes d’IA et structurer votre mise en conformité avec l’AI Act ?
Découvrez la plateforme Naaia, qui vous accompagne pour cartographier vos cas d’usage, qualifier vos systèmes et piloter votre conformité dans la durée, dans un cadre directement intégré à votre gouvernance de l’IA.