Comprendre et gérer les risques de l’IA : guide des référentiels du MIT et de l’OWASP

L’IA fait désormais partie du quotidien des organisations. Les copilotes rédigent des documents, les chatbots répondent aux clients, des modèles trient les candidatures et évaluent les demandes de crédit, et les agents IA commencent à agir de manière autonome. Chacun de ces systèmes apporte une réelle valeur, et chacun comporte des risques que les organisations doivent désormais comprendre et maîtriser.

Mais par où commencer ? Face à la grande diversité des risques possibles, à l’évolution rapide des menaces et aux attentes réglementaires croissantes, de nombreuses équipes peinent à savoir quels risques concernent leurs systèmes d’IA et comment y répondre. Deux référentiels ouverts et reconnus peuvent les y aider :

  • le MIT AI Risk Repository, qui cartographie l’ensemble des risques de l’IA ;
  • l’OWASP AI Exchange, qui se concentre sur les menaces de sécurité visant les systèmes d’IA et sur les mesures qui permettent de les contrer.

Ce guide explique ce qui distingue les risques de l’IA, pourquoi il est essentiel de les gérer et comment s’appuyer sur ces deux référentiels pour construire une démarche de gestion des risques IA adaptée à votre organisation.

L’essentiel

  • Définition : la gestion des risques IA consiste à identifier, évaluer et traiter les risques des systèmes d’IA tout au long de leur cycle de vie. Pour les systèmes à haut risque, c’est une obligation au titre de l’article 9 de l’AI Act.
  • MIT AI Risk Repository : il recense plus de 1 700 risques de l’IA, classés en 7 domaines et 24 sous-domaines, et sert à identifier les risques.
  • OWASP AI Exchange : il recense les menaces de sécurité qui visent l’IA et les mesures pour s’en protéger, et sert à évaluer et traiter les risques de sécurité.
  • Statut : aucun des deux n’est obligatoire ni certifiable. Ils sont complémentaires et doivent être adaptés au contexte de chaque organisation.

1. Quels sont les risques de l’IA ?

L’IA est désormais intégrée au fonctionnement des organisations, et avec elle, les risques de l’IA sont partout. Les systèmes d’IA diffèrent des logiciels traditionnels :

  • ils apprennent leur comportement à partir des données ;
  • leurs résultats sont probabilistes et difficiles à expliquer ;
  • avec l’IA générative et les agents, ils peuvent désormais produire du contenu et agir de manière autonome.

Ils fonctionnent aussi souvent dans des contextes où ils affectent directement les droits, les opportunités et la sécurité des personnes.

Les risques de l’IA sont donc très variés. Ils incluent :

  • des défaillances techniques ;
  • des menaces de sécurité comme l’empoisonnement des données ou l’injection de prompt ;
  • des préjudices plus larges comme la discrimination, les atteintes à la vie privée, la désinformation ou la dépendance excessive aux décisions automatisées.

Leurs conséquences peuvent être juridiques, financières, opérationnelles et réputationnelles. Ces risques ont aussi des origines diverses : ils peuvent venir des humains ou de l’IA elle-même, être intentionnels ou accidentels, survenir avant ou après le déploiement.

Dans ce contexte, identifier et gérer les risques de l’IA n’est plus une option. Cet article examine comment les organisations peuvent s’y prendre, en s’appuyant sur deux référentiels reconnus : le MIT AI Risk Repository et l’OWASP AI Exchange.

2. Pourquoi et comment gérer les risques de l’IA ?

Gérer les risques de l’IA n’est plus une option. C’est indispensable pour construire une IA de confiance, et c’est de plus en plus une obligation légale.

L’AI Act, le règlement européen sur l’intelligence artificielle, en est l’exemple le plus marquant. Son article 9 impose aux fournisseurs de systèmes d’IA à haut risque d’établir un système de gestion des risques continu, sur l’ensemble du cycle de vie. Ce n’est toutefois pas le seul texte : d’autres réglementations, comme les règles de protection des données et les exigences sectorielles, attendent aussi des organisations qu’elles évaluent et atténuent les risques des IA qu’elles utilisent.

Au-delà des obligations légales, les normes de systèmes de management comme l’ISO/IEC 42001 placent la gestion des risques au cœur de leurs exigences. Les organisations doivent évaluer et traiter les risques de l’IA dans le cadre de leur gouvernance de l’IA.

Tout commence par un inventaire. On ne peut pas gérer ce que l’on ne voit pas. Savoir quels systèmes d’IA sont utilisés, qui en est responsable et quels risques ils comportent est le socle de tout le reste. Ensuite, les organisations :

  1. mettent en place une gouvernance et des responsabilités claires ;
  2. identifient les risques propres à chaque système ;
  3. étendent leurs pratiques existantes de sécurité et de développement à l’IA ;
  4. limitent l’impact potentiel grâce aux contrôles d’accès, aux garde-fous et à la supervision humaine ;
  5. démontrent, par les tests et la documentation, que les risques sont maîtrisés.

3. Quels référentiels utiliser pour gérer les risques de l’IA ?

Aucun référentiel n’est obligatoire pour gérer les risques de l’IA. Les organisations peuvent toutefois s’appuyer sur des référentiels qui leur donnent un point de départ commun pour identifier les risques pertinents. Le MIT AI Risk Repository et l’OWASP AI Exchange comptent parmi les plus complets. Aucun des deux n’est une obligation légale ni un dispositif de certification : ce sont des guides dont les organisations peuvent s’inspirer et qu’elles peuvent adapter à leur contexte, à leurs systèmes d’IA et à leur niveau de maturité.

Les deux référentiels abordent les risques de l’IA sous des angles différents :

  • Le MIT AI Risk Repository propose un vaste catalogue couvrant l’ensemble des risques de l’IA, de la discrimination et de la désinformation aux enjeux socio-économiques et de sûreté.
  • L’OWASP AI Exchange se concentre sur les risques de sécurité et de confidentialité : les menaces qui ciblent les systèmes d’IA et les mesures nécessaires pour les protéger.

Les deux référentiels sont aussi conçus pour évoluer. À mesure que les technologies d’IA progressent, de nouveaux usages apparaissent, et avec eux de nouveaux risques et de nouvelles menaces. Le MIT AI Risk Repository et l’OWASP AI Exchange sont régulièrement mis à jour pour refléter ces évolutions. Ce sont donc des référentiels vivants et non des check-lists figées : les organisations doivent y revenir à mesure que leurs propres systèmes d’IA et le paysage des risques évoluent.

MIT AI Risk RepositoryOWASP AI Exchange
ObjetCatalogue de l’ensemble des risques de l’IAMenaces de sécurité et mesures de protection
CouverturePlus de 1 700 risques, 7 domaines, 24 sous-domaines4 parties : mesures générales, entrées, développement, exploitation
Étape de la gestion des risquesIdentificationÉvaluation et traitement
PublicJuridique, conformité, data, métiersSécurité, ingénierie, gouvernance
StatutOuvert, mis à jour régulièrement, non certifiableOuvert, mis à jour régulièrement, non certifiable

a) Qu’est-ce que le MIT AI Risk Repository ?

Le MIT AI Risk Repository est une base de données ouverte, publiée par le Massachusetts Institute of Technology (MIT), qui recense et classe les risques de l’IA identifiés dans la recherche et les référentiels existants. Il offre aux organisations une référence commune sur les risques de l’IA. Il rassemble plus de 1 700 risques, chacun étant relié à sa source d’origine.

Pour les organisations, cela signifie qu’elles n’ont pas à dresser une liste des risques de l’IA à partir de zéro. Le référentiel fournit une base structurée et fondée sur des preuves pour identifier les risques pertinents pour leurs systèmes d’IA, qu’ils soient techniques, éthiques, liés à la sécurité ou sociétaux. Comme il s’agit d’une base de données vivante, elle est régulièrement mise à jour à mesure que de nouveaux référentiels et travaux de recherche sont publiés.

La taxonomie causale : comment, quand et pourquoi les risques de l’IA surviennent

La première taxonomie du MIT AI Risk Repository classe les risques selon leur cause, à partir de trois facteurs :

  • L’entité : le risque est-il causé par les décisions ou les actions du système d’IA lui-même, ou par des humains ?
  • L’intention : le préjudice est-il le résultat attendu de la poursuite d’un objectif, ou un effet secondaire inattendu ?
  • Le moment : le risque survient-il avant le déploiement, pendant le développement et l’entraînement, ou après le déploiement, une fois le système en service ?

Cette approche aide les organisations à déterminer à quel moment du cycle de vie un risque doit être traité, et qui est le mieux placé pour le faire. Les risques qui surviennent avant le déploiement relèvent principalement des équipes data science et développement. Ceux qui apparaissent une fois le système en service appellent des politiques d’usage, des contrôles d’accès et un suivi continu.

La taxonomie par domaine : 7 domaines et 24 sous-domaines de risques

La seconde taxonomie classe les risques selon le type de préjudice, répartis en sept domaines :

  • Discrimination et toxicité : discrimination injuste et représentation biaisée, exposition à des contenus toxiques, performances inégales selon les groupes.
  • Vie privée et sécurité : compromission d’informations sensibles, vulnérabilités ou attaques visant les systèmes d’IA.
  • Désinformation : résultats faux ou trompeurs, ainsi que pollution plus large de l’écosystème informationnel.
  • Acteurs malveillants : usage délibéré de l’IA pour la désinformation et la surveillance à grande échelle, les cyberattaques et le développement d’armes, la fraude et la manipulation ciblée.
  • Interaction humain-machine : dépendance excessive à l’IA, perte d’autonomie et de capacité d’agir des humains.
  • Socio-économique et environnemental :
    • concentration du pouvoir ;
    • inégalités et dégradation de la qualité de l’emploi ;
    • dévalorisation de l’effort humain ;
    • dynamiques concurrentielles ;
    • défaillances de gouvernance ;
    • atteintes à l’environnement.
  • Sûreté, défaillances et limites des systèmes d’IA :
    • IA poursuivant des objectifs contraires aux valeurs humaines ;
    • capacités dangereuses ;
    • manque de robustesse ;
    • manque de transparence ;
    • bien-être et droits de l’IA ;
    • risques multi-agents.

Cette exhaustivité distingue le référentiel. De nombreuses ressources sur les risques de l’IA se concentrent sur un seul angle, comme la sécurité, l’équité ou la sûreté. La taxonomie du MIT les réunit dans une même structure, ce qui permet aux organisations de voir l’ensemble de leur exposition aux risques plutôt qu’une seule facette.

Parmi ces risques, le référentiel met en avant les domaines que les experts jugent les plus préoccupants pour les cinq prochaines années :

  • cyberattaques, développement d’armes et préjudices de masse ;
  • concentration du pouvoir et répartition inéquitable des bénéfices ;
  • pollution de l’écosystème informationnel ;
  • désinformation, surveillance et influence à grande échelle ;
  • IA dotée de capacités dangereuses ;
  • perte d’autonomie et de capacité d’agir des humains.

Combiner les deux taxonomies

Les deux taxonomies peuvent être utilisées séparément ou ensemble. Les équipes peuvent filtrer les risques par étape du cycle de vie pour construire un plan de suivi, ou par domaine pour concentrer une revue sur un type de préjudice précis. Croiser les deux approches montre si les risques d’un domaine donné viennent plutôt du système d’IA ou des personnes, et s’ils sont délibérés ou accidentels. Cet éclairage oriente directement vers le type de mesure nécessaire : garde-fous techniques, supervision humaine ou politiques d’usage.

Comment utiliser le MIT AI Risk Repository pour gérer les risques ?

Dans un processus de gestion des risques IA, le MIT AI Risk Repository peut servir de catalogue pour l’identification des risques :

  • Un inventaire à confronter : il fournit aux organisations un inventaire structuré des risques de l’IA, à confronter à leurs systèmes pour vérifier qu’aucune catégorie de préjudice n’est oubliée.
  • Une navigation par cause et par domaine : ses deux taxonomies permettent de comprendre où et quand un risque survient, et quel type de préjudice est en jeu.
  • Un langage commun : il donne un vocabulaire partagé aux équipes juridiques, conformité, data et métiers.
  • Une documentation renforcée : chaque risque s’appuie sur des travaux de recherche reconnus, ce qui renforce la documentation attendue au titre de l’AI Act et de l’ISO/IEC 42001.

Il constitue aussi une base solide pour les étapes d’évaluation et de traitement qui suivent.

b) Qu’est-ce que l’OWASP AI Exchange ?

L’OWASP AI Exchange est un référentiel ouvert de l’OWASP, fondation à but non lucratif dédiée à la sécurité des logiciels, qui recense les menaces visant les systèmes d’IA et les mesures pour s’en protéger. Il se concentre sur la sécurité de l’IA. Là où d’autres référentiels couvrent l’ensemble des risques de l’IA, l’AI Exchange vise à sécuriser les systèmes d’IA : protéger leurs données, leurs modèles et leur comportement contre les attaques et les usages malveillants.

Il s’applique à tous les types d’IA, du développement à l’exploitation, et s’adresse aux équipes sécurité, ingénierie et gouvernance. C’est un ensemble de bonnes pratiques, et non une check-list ou une norme certifiable : les organisations sélectionnent et adaptent les mesures pertinentes pour leurs propres systèmes d’IA.

Ce que cherchent les attaquants : divulguer, tromper, perturber

L’OWASP AI Exchange analyse les menaces à travers ce que l’attaquant cherche à obtenir :

  • Divulguer : extraire des données d’entraînement confidentielles, des données saisies par les utilisateurs ou le modèle lui-même.
  • Tromper : manipuler le modèle pour qu’il se comporte de manière imprévue, par exemple en prenant de mauvaises décisions ou en suivant des instructions cachées.
  • Perturber : rendre l’IA indisponible ou trop coûteuse à faire fonctionner.

Cette grille de lecture aide les organisations à relier les menaces techniques à leur impact métier : une fuite de données, une décision manipulée ou une interruption de service.

Quatre parties : des mesures générales aux menaces en exploitation

L’OWASP AI Exchange organise ses recommandations en quatre parties, chacune reliant des menaces à des mesures concrètes.

  • Les mesures générales s’appliquent à tout produit d’IA. Elles comprennent trois ensembles :
    • Les mesures de gouvernance placent l’IA sous la supervision de l’organisation : elles l’intègrent aux programmes existants de sécurité et de développement, assurent la conformité légale et forment les équipes.
    • Les mesures de limitation des données ne conservent que les données nécessaires, et les anonymisent ou les suppriment lorsqu’elles ne sont plus utiles.
    • Un troisième ensemble limite les effets d’un comportement indésirable de l’IA : supervision humaine ou automatisée, permissions restreintes, transparence et contrôles continus de fiabilité et de biais.
  • Les menaces liées aux entrées sont des attaques menées à travers ce qui est envoyé à l’IA. Dans une injection de prompt, par exemple, des instructions cachées dans un e-mail ou une page web amènent un assistant IA à divulguer des données ou à effectuer des actions non souhaitées.
    • D’autres menaces relèvent de cette catégorie : l’évasion par des entrées spécialement conçues, la divulgation de données sensibles dans les résultats, le vol de modèle par requêtes répétées et l’épuisement des ressources.
    • Les mesures incluent la surveillance des usages et la limitation du débit, le filtrage des entrées malveillantes et des résultats sensibles, l’entraînement antagoniste, et une séparation claire entre contenus non fiables et instructions légitimes.
  • Les menaces en phase de développement visent l’IA pendant sa conception.
    • Un jeu de données empoisonné ou un modèle pré-entraîné compromis, téléchargé depuis un dépôt public, peut introduire un comportement caché qui ne se manifeste qu’une fois le système déployé.
    • Les fuites de données d’entraînement, de modèles ou de code sont aussi un enjeu à ce stade.
    • Les mesures portent sur la sécurisation de l’environnement de développement, la séparation des données sensibles, le contrôle de la qualité des données et la gestion des modèles, jeux de données et composants tiers.
  • Les menaces en exploitation appellent une sécurité classique appliquée à l’IA en production :
    • protéger les modèles déployés contre l’altération et le vol ;
    • sécuriser les entrées des utilisateurs et les données d’enrichissement, comme les bases de connaissances RAG, les prompts système et la mémoire des agents ;
    • encoder les résultats pour neutraliser tout code malveillant.

Les agents IA font l’objet d’une attention particulière, car ils peuvent agir de manière autonome et utiliser des outils. Il s’agit de limiter leurs privilèges, de vérifier chaque appel d’outil au regard de la tâche de l’agent et d’exécuter chaque agent dans un environnement isolé (sandbox), afin qu’un agent compromis ne puisse pas affecter le reste du système.

Comment utiliser l’OWASP AI Exchange pour traiter les risques ?

Dans un processus de gestion des risques IA, l’OWASP AI Exchange est un appui solide pour l’évaluation et le traitement des risques. Il aide les organisations à identifier les menaces de sécurité qui concernent leurs systèmes d’IA et à choisir des mesures proportionnées, chaque décision étant reliée à une menace précise et aux mesures qui y répondent. Cette traçabilité est aussi ce que les régulateurs et les auditeurs attendent de plus en plus.

Sa spécialisation est aussi sa limite : l’OWASP AI Exchange se concentre sur la sécurité de l’IA, et les risques sociétaux et éthiques plus larges doivent être gérés par d’autres moyens.

4. Conclusion : pourquoi combiner les deux référentiels ?

Les risques de l’IA sont vastes, variés et en constante évolution, et aucun référentiel ne les couvre tous. Le MIT AI Risk Repository et l’OWASP AI Exchange offrent des perspectives complémentaires :

  • le premier aide les organisations à identifier l’ensemble des risques que peuvent soulever leurs systèmes d’IA, de la discrimination à la sûreté ;
  • le second les aide à protéger ces systèmes contre les menaces de sécurité grâce à des mesures concrètes.

Aucun de ces référentiels n’est pour autant une solution clé en main. Ce sont des références dont s’inspirer, pas des évaluations à recopier. Les organisations doivent adapter leurs analyses de risques à leur propre contexte :

  • les systèmes d’IA qu’elles utilisent ou développent ;
  • leur finalité et leur niveau d’autonomie ;
  • les données qu’ils traitent et les personnes concernées ;
  • leurs obligations réglementaires ;
  • leur niveau de maturité.

Un même risque peut être critique pour une organisation et marginal pour une autre. Seule une évaluation ancrée dans ce contexte permet de fixer les bonnes priorités et d’aboutir à des mesures proportionnées.

Parce que l’IA et ses menaces évoluent sans cesse, la gestion des risques n’est pas un exercice ponctuel. C’est un processus continu, à revoir à mesure que les systèmes évoluent, que de nouveaux usages apparaissent et que les référentiels sont mis à jour.

Pour les organisations, l’enjeu est moins de trouver les bons référentiels que de les mettre en pratique de façon adaptée à leur contexte, cohérente, traçable et capable de suivre leur croissance.

FAQ : gestion des risques de l’IA

Qu’est-ce que la gestion des risques IA ?

C’est la démarche qui consiste à identifier, évaluer et traiter les risques des systèmes d’IA tout au long de leur cycle de vie, des données d’entraînement à l’usage en production. Elle commence par l’inventaire des systèmes d’IA utilisés.

La gestion des risques IA est-elle obligatoire ?

Oui pour les fournisseurs de systèmes d’IA à haut risque : l’article 9 de l’AI Act leur impose un système de gestion des risques continu. D’autres textes, comme le RGPD, et des normes comme l’ISO/IEC 42001 l’exigent ou l’encadrent également.

Quelle différence entre le MIT AI Risk Repository et l’OWASP AI Exchange ?

Le MIT AI Risk Repository couvre l’ensemble des risques de l’IA (éthiques, sociétaux, techniques) et sert à les identifier. L’OWASP AI Exchange se concentre sur la sécurité et aide à choisir les mesures de protection.

Ces référentiels sont-ils certifiables ?

Non. Ce sont des guides de bonnes pratiques, ni obligatoires ni certifiables, que chaque organisation adapte à son contexte.

Par où commencer pour gérer les risques de l’IA ?

Par l’inventaire des systèmes d’IA en usage, de leurs responsables et des risques qu’ils comportent. Viennent ensuite la gouvernance, l’identification des risques par système, les mesures de maîtrise et la documentation.