L’intelligence artificielle occupe une place de plus en plus importante dans les environnements SAP. À mesure que les organisations adoptent ces technologies dans la finance, les achats, la supply chain, la production, les RH et d’autres processus métiers critiques, l’IA ne se contente plus d’assister les utilisateurs : elle influence de plus en plus les décisions et, dans certains cas, agit directement dans les systèmes métiers. Il devient donc essentiel de savoir où l’IA est utilisée, ce qu’elle peut influencer, à quelles données elle peut accéder et comment ses résultats sont gouvernés et contrôlés.
Le règlement européen sur l’IA ajoute une dimension réglementaire importante à cette évolution. L’AI Act adopte une approche fondée sur les risques : les obligations applicables à un système d’IA dépendent de sa finalité, de son usage et du contexte dans lequel il fonctionne. Une même technologie sous-jacente peut donc être soumise à des exigences très différentes selon le processus métier qu’elle soutient, les personnes concernées, les décisions qu’elle influence et son degré d’autonomie.
Pour les organisations utilisant SAP, cette évolution représente une occasion de s’appuyer sur les capacités existantes en matière de sécurité, de GRC, de gestion des risques, de gouvernance des données et d’audit, et d’utiliser l’AI Act comme catalyseur d’une approche plus structurée de la gouvernance de l’IA à l’échelle de l’entreprise. Cet article examine la manière dont le règlement s’applique aux cas d’usage de l’IA dans les environnements SAP et la façon de traduire ses exigences en un cadre concret de gouvernance, de gestion des risques et de responsabilité.
L’AI Act est entré en vigueur le 1er août 2024 et sa mise en application est progressive. Pour les organisations utilisant SAP, comprendre les implications réglementaires ne consiste pas simplement à identifier les technologies d’IA déployées. Elles doivent également déterminer où l’IA est utilisée, quelles données et quels processus métiers elle peut influencer, leur rôle dans la chaîne de valeur de l’IA, la manière dont les résultats produits peuvent affecter les décisions métiers et qui en assume, en dernier ressort, la responsabilité.
Une fois l’IA intégrée dans un environnement SAP, la réflexion passe rapidement des exigences réglementaires aux enjeux opérationnels et technologiques. Contrairement aux logiciels d’entreprise traditionnels, dont on attend généralement des résultats cohérents à partir des mêmes données d’entrée, les systèmes d’IA – en particulier les modèles d’IA générative – peuvent produire des résultats différents selon la version du modèle, sa configuration, le contexte ou encore le processus d’échantillonnage. Des tests efficaces, la journalisation, la traçabilité et la reproductibilité deviennent donc particulièrement importants lorsque l’IA soutient ou influence des processus et des décisions métiers. Les organisations doivent également prévoir ce qu’il se passe lorsqu’un résultat généré par l’IA est incorrect, notamment selon que le système se limite à formuler une recommandation ou qu’il peut exécuter directement une action.
Une répartition claire des responsabilités est tout aussi essentielle, notamment lorsque plusieurs parties interviennent. Les organisations doivent savoir qui fournit la technologie d’IA, qui l’exploite, qui possède et contrôle les données sous-jacentes, comment les données des utilisateurs sont traitées, quel rôle chaque partie joue au regard de l’AI Act et jusqu’à quel point le système est autonome pour influencer des décisions ou exécuter des actions.
En définitive, les obligations prévues par l’AI Act dépendent non seulement de la technologie utilisée, mais aussi de sa finalité, de son mode de déploiement et du contexte dans lequel elle fonctionne. Les organisations doivent donc évaluer chaque cas d’usage de l’IA individuellement, déterminer sa classification au regard du règlement et identifier les exigences applicables, afin de pouvoir déployer l’IA dans les environnements SAP de manière à la fois conforme sur le plan juridique et correctement gouvernée.
L’AI Act adopte une approche fondée sur les risques, mais ses catégories juridiques sont précises et dépendent de la finalité prévue du système d’IA et du contexte dans lequel il est utilisé. Un système d’IA n’est donc pas classé uniquement en fonction du modèle ou du produit logiciel sous-jacent : sa classification dépend de la manière et de l’endroit où il est déployé.
Cette distinction est particulièrement importante lorsqu’il s’agit d’évaluer l’IA utilisée dans des processus SAP critiques pour l’activité. Un système d’IA peut être critique sur le plan opérationnel parce qu’il influence les stocks, la production, les paiements, les relations fournisseurs ou la sécurité, sans pour autant être juridiquement classé à haut risque au sens de l’AI Act. À l’inverse, un système d’IA utilisé pour présélectionner ou classer des candidats à l’embauche peut relever d’une catégorie à haut risque, car sa finalité peut affecter l’accès d’une personne à l’emploi.
Pour les organisations utilisant SAP, la classification juridique du risque et la criticité métier doivent donc être évaluées séparément. La prise en compte de ces deux dimensions permet d’obtenir une vision plus complète du risque et de déterminer le niveau de gouvernance, de contrôle et de supervision adapté à chaque cas d’usage. Voici quelques exemples clés de classification au titre de l’AI Act.
La plupart des systèmes d’IA ne relèvent ni des pratiques interdites, ni de la catégorie à haut risque, ni d’obligations spécifiques de transparence. De nombreuses applications métier courantes sont donc soumises à des obligations relativement limitées au titre de l’AI Act. Cela peut notamment concerner la synthèse de rapports, la traduction, la recherche documentaire ou la génération de comptes rendus de réunion. Dans SAP, par exemple, un assistant d’IA peut résumer pour un utilisateur les commandes en retard ou les écarts de stock. Ce type d’application est généralement considéré comme un cas d’usage à faible risque au regard de l’AI Act, même si l’organisation doit toujours évaluer sa mise en œuvre concrète et son contexte d’utilisation.
Certains systèmes d’IA interactifs et génératifs sont soumis à des exigences spécifiques de transparence prévues par l’AI Act. Selon le cas d’usage, les utilisateurs peuvent devoir être informés qu’ils interagissent avec un système d’IA, tandis que certains contenus générés ou manipulés par l’IA doivent pouvoir être identifiés ou signalés. Dans un environnement SAP, un assistant d’IA répondant à des questions sur des commandes, des factures ou des contrats pourrait relever de ces exigences, selon son fonctionnement et la nature des contenus qu’il produit.
La notion de « haut risque » correspond à une classification juridique précise au titre de l’AI Act et ne doit pas être confondue avec l’importance ou la criticité métier d’un système d’IA. De manière générale, la classification à haut risque peut résulter de deux situations. La première concerne les systèmes d’IA qui constituent un composant de sécurité de certains produits réglementés – ou qui sont eux-mêmes de tels produits – lorsqu’ils sont soumis aux exigences pertinentes d’évaluation de conformité. La seconde concerne les systèmes d’IA dont la finalité prévue relève de cas d’usage spécifiquement identifiés, notamment dans les domaines de l’emploi, de l’éducation, des infrastructures critiques, des services essentiels, de la migration, des forces de l’ordre et de l’administration de la justice.
Dans un environnement SAP, un système d’IA connecté à SAP SuccessFactors qui classe des candidats ou évalue des employés peut nécessiter une attention particulière, car il est susceptible d’avoir un impact sur l’accès à l’emploi. De même, un système d’IA connecté à SAP peut potentiellement faire partie d’un produit réglementé ou d’un dispositif lié à la sécurité lorsque les conditions juridiques applicables sont réunies.
Lorsqu’un système d’IA est classé à haut risque, les exigences applicables peuvent notamment porter sur la gestion des risques, la gouvernance des données, la documentation technique, la journalisation, la supervision humaine, l’exactitude, la robustesse et la cybersécurité. Les organisations doivent donc évaluer la classification au cas par cas, sans supposer qu’un produit SAP, une fonctionnalité d’IA ou un modèle sous-jacent détermine automatiquement son statut juridique.
L’AI Act prévoit également des obligations relatives aux fournisseurs de modèles d’IA à usage général. Pour les organisations utilisant SAP, le défi pratique consiste à comprendre où ces modèles se situent dans la pile technologique et quelles responsabilités incombent au fournisseur du modèle, à SAP, à un autre fournisseur technologique ou à l’organisation elle-même. Il est donc important d’appréhender l’ensemble de la chaîne de valeur de l’IA et les responsabilités de chaque partie, plutôt que de considérer le modèle sous-jacent comme un composant technique isolé.
À l’extrémité la plus restrictive du cadre se trouvent les pratiques d’IA interdites. Elles couvrent des usages précisément définis, tels que certaines formes de notation sociale, certaines techniques manipulatoires ou trompeuses, l’exploitation de vulnérabilités, certaines formes de catégorisation biométrique et certains usages de la reconnaissance des émotions.
Ces interdictions sont volontairement précises et ne doivent pas être interprétées comme une interdiction générale de certaines technologies ou de certains résultats. Par exemple, l’interdiction des techniques manipulatoires ou trompeuses vise des pratiques définies qui altèrent de manière significative le comportement dans les circonstances prévues par le règlement et qui entraînent un préjudice important. De même, la reconnaissance des émotions sur le lieu de travail est soumise à des règles et à des exceptions spécifiques.
Même si ces cas d’usage sont moins fréquents dans les processus SAP cœur, les applications connectées doivent également être prises en compte, notamment lorsque des outils tiers de RH, de suivi des employés, de surveillance ou de profilage utilisent des données SAP. Pour les organisations SAP, l’enjeu pratique consiste donc à examiner très tôt les cas d’usage potentiellement sensibles, dès les phases de conception, d’architecture et d’achat, plutôt que d’attendre le déploiement pour en évaluer les implications réglementaires.
À mesure que l’IA s’intègre davantage dans SAP et dans les processus métiers connectés, les organisations ont besoin d’une approche de gouvernance capable de couvrir non seulement la classification réglementaire, mais aussi la manière dont l’IA est déployée, contrôlée, surveillée et utilisée dans les opérations critiques.
Dans de nombreuses organisations, SAP se situe au cœur des processus de finance, d’achats, de supply chain, de production, de maintenance, de logistique et de gestion des collaborateurs. Avec des technologies telles que SAP Business AI, Joule, SAP BTP, SAP AI Core, le generative AI hub et les agents d’IA, l’intelligence artificielle se rapproche de plus en plus des décisions et des actions opérationnelles. Le risque pertinent doit donc être évalué à l’échelle du cas d’usage complet : le modèle, ses données, le contexte du processus, les personnes concernées, le rôle de l’organisation dans la chaîne de valeur de l’IA, le niveau d’automatisation et les conséquences d’un résultat erroné.
L’AI Act offre aux organisations l’occasion d’obtenir une vision plus claire de la manière dont l’IA est déjà utilisée par les différentes équipes. Une revue structurée peut identifier les systèmes en production, les pilotes, les outils tiers et les expérimentations d’IA non encadrées (« shadow AI »), tout en mettant en évidence les équipes utilisatrices, les données accessibles par ces outils et les décisions qui s’appuient sur leurs résultats. Elle peut également révéler les zones où la responsabilité est floue, celles où les fournisseurs jouent un rôle important et les situations dans lesquelles les contrôles existants ne sont pas proportionnés au niveau d’exposition opérationnelle.
Les organisations ont besoin d’un référentiel vivant, clairement attribué et directement exploitable, qui puisse être maintenu à mesure que les usages de l’IA évoluent. Ce socle peut s’intégrer à des capacités existantes telles que SAP Signavio, une plateforme GRC ou, lorsque cela se justifie, une solution spécialisée de gouvernance de l’IA. L’essentiel est que la gouvernance de l’IA s’inscrive dans les processus établis de gestion des risques, de sécurité, de gouvernance des données, d’achats, d’audit et de gestion du changement, plutôt que de constituer un exercice de conformité isolé.
Une approche pratique de la gouvernance de l’IA dans SAP doit donc commencer par une phase de découverte. Les organisations doivent identifier les usages d’IA en production, dans les pilotes et au sein des outils tiers, puis comprendre ce que fait chaque système, quelles données il utilise, quel processus métier il soutient et s’il informe, recommande, décide ou exécute une action. Chaque cas d’usage doit ensuite être évalué selon deux axes : sa classification juridique au regard de l’AI Act et son impact opérationnel, financier, sécuritaire, sur les données et sur les droits fondamentaux. Cette approche permet de distinguer la classification juridique de la criticité métier, tout en clarifiant les responsabilités entre les équipes métiers, l’IT, la sécurité, les données, les achats et les fournisseurs.
La gouvernance doit ensuite définir des contrôles adaptés à chaque cas d’usage et veiller à ce qu’ils restent efficaces à mesure que la technologie évolue. Ceux-ci peuvent inclure des restrictions d’accès, une supervision humaine, des tests, la journalisation, des limites d’approbation, le suivi des versions de modèles et une réévaluation lorsque des changements significatifs interviennent. Cette vigilance est particulièrement importante lorsque le comportement d’un modèle peut évoluer sans modification du processus SAP environnant, ou lorsqu’un système d’IA passe d’un rôle de recommandation à l’exécution directe d’actions.
SAP AI Agent Hub soutient cette approche en réunissant, au sein d’un même cadre, la découverte des agents, leur inventaire, leur classification, l’évaluation de leur gouvernance, la gestion des identités et des accès, l’observabilité et le suivi de leurs performances. Il aide également les organisations à évaluer et à gérer les risques associés aux agents d’IA en offrant une meilleure visibilité sur leur responsable, leurs capacités, leurs accès aux données, leur pouvoir de décision et leur comportement. Les organisations peuvent ainsi identifier les agents potentiellement plus risqués, appliquer les contrôles appropriés, les surveiller tout au long de leur cycle de vie et conserver les éléments démontrant la manière dont les risques sont maîtrisés.
La plupart des organisations SAP disposent déjà d’un grand nombre de capacités nécessaires à une gouvernance efficace de l’IA, notamment en matière de sécurité, de GRC, de gouvernance des données, d’achats et d’audit interne. Le défi consiste à relier ces responsabilités autour de chaque cas d’usage, en particulier lorsque le modèle, les données, le processus métier et la décision relèvent d’équipes ou de fournisseurs tiers différents. Une gouvernance efficace de l’IA suppose de rassembler ces capacités existantes autour d’une vision claire du cas d’usage et d’établir les responsabilités tout au long de son cycle de vie.
L’AI Act donne aux organisations SAP une raison claire de comprendre comment l’IA est déjà utilisée dans l’entreprise et où son influence est la plus importante. Le cadre réglementaire est mis en œuvre progressivement, avec des exigences déjà applicables dans des domaines tels que les pratiques interdites, la gouvernance, l’IA à usage général et la transparence. Les organisations doivent donc maintenir à jour à la fois leur inventaire des usages de l’IA et leur compréhension du calendrier réglementaire.
Pour les clients SAP, l’approche la plus utile consiste à relier la classification juridique à la criticité métier, au contexte des processus, à la sécurité, à la gouvernance des données et à l’assurance technique. Un système n’a pas besoin d’être juridiquement classé à haut risque pour justifier des contrôles robustes, et une classification juridique ne doit jamais être déduite uniquement de l’importance d’un système pour l’activité. Les organisations capables d’expliquer où l’IA est utilisée, ce qu’elle influence, qui en est responsable et comment elle est contrôlée seront mieux placées pour répondre aux exigences réglementaires tout en poursuivant l’adoption de l’IA avec confiance.
Turnkey Consulting peut vous aider à évaluer vos cas d’usage actuels de l’IA, à distinguer les exigences réglementaires des risques métiers, à identifier les écarts de gouvernance et à définir une feuille de route pragmatique pour les prochaines étapes. Réservez une consultation dédiée à la gouvernance de l’IA pour commencer à construire une vision claire et exploitable de votre paysage IA.