Joao Freitas est directeur général et vice-président de l’ingénierie pour l’IA et l’automatisation service de téléavertisseur
Alors que l’utilisation de l’IA dans les grandes organisations continue d’évoluer, les dirigeants recherchent de plus en plus le prochain développement qui générera un retour sur investissement majeur. La dernière vague de cette tendance actuelle est l’adoption d’agents IA. Cependant, comme pour toute nouvelle technologie, les organisations doivent veiller à adopter les agents d’IA d’une manière responsable qui leur permette d’améliorer à la fois la vitesse et la sécurité.
Plus de la moitié des organisations ont déjà déployé des agents d’IA dans une certaine mesure, et d’autres devraient suivre au cours des deux prochaines années. Mais de nombreux adeptes précoces réévaluent désormais leur approche. 4 dirigeants technologiques sur 10 regrettent de ne pas avoir établi une base de gouvernance solide dès le départ, suggérant qu’ils ont adopté l’IA trop rapidement, mais qu’il reste encore une marge d’amélioration des politiques, des règles et des meilleures pratiques conçues pour garantir un développement et une utilisation responsables, éthiques et juridiques de l’IA.
À mesure que l’adoption de l’IA s’accélère, les organisations doivent trouver le bon équilibre entre leur risque d’exposition et la mise en œuvre de mesures de protection pour garantir une utilisation sûre de l’IA.
Où les agents d’IA présentent-ils des risques potentiels ?
Il existe trois principaux domaines à prendre en compte pour l’adoption sécurisée de l’IA.
Le premier est l’IA fantôme, lorsque les employés utilisent des outils d’IA non autorisés sans autorisation expresse, contournant les outils et processus approuvés. L’informatique doit créer les processus nécessaires à l’expérimentation et à l’innovation afin d’introduire des méthodes plus efficaces de travail avec l’IA. Shadow AI Depuis que les outils d’IA existent à part entière, l’autonomie des agents d’IA facilite le fonctionnement des outils non autorisés en dehors de la compétence informatique, ce qui peut introduire de nouveaux risques de sécurité.
Deuxièmement, les organisations doivent combler les écarts entre la propriété de l’IA et la responsabilité pour se préparer aux événements ou aux processus qui tournent mal. La force des agents IA réside dans leur autonomie. Cependant, si les agents agissent de manière inattendue, les parties doivent être en mesure de déterminer qui est responsable de la résolution du problème.
Un troisième risque apparaît lorsque les actions entreprises par les agents d’IA manquent d’interprétabilité. Les agents d’IA sont orientés vers des objectifs, mais la manière dont ils atteignent leurs objectifs peut être ambiguë. Les agents d’IA doivent disposer d’une logique interprétable sous-jacente à leurs actions afin que les ingénieurs puissent retracer et, si nécessaire, annuler les actions susceptibles de causer des problèmes dans les systèmes existants.
Même si aucun de ces risques ne devrait retarder l’adoption, ils aideront les organisations à mieux assurer leur sécurité.
Trois lignes directrices pour adopter des agents d’IA responsables
Une fois que les organisations ont identifié les risques que les agents d’IA peuvent poser, elles doivent mettre en œuvre des lignes directrices et des lignes directrices pour garantir leur utilisation en toute sécurité. En suivant ces trois étapes, les organisations peuvent atténuer ces risques.
1 : Par défaut, surveillance humaine
Les agences d’IA continuent d’évoluer à un rythme rapide. Cependant, lorsque les agents d’IA sont habilités à agir, à prendre des décisions et à poursuivre un objectif susceptible d’affecter les systèmes centraux, nous avons toujours besoin d’une supervision humaine. Un être humain doit être informé par défaut, en particulier pour les cas d’utilisation et les systèmes critiques pour l’entreprise. Les équipes qui utilisent l’IA doivent comprendre quelles mesures elle peut prendre et où elles doivent intervenir. Commencez de manière prudente et, au fil du temps, augmentez le niveau d’action accordé aux agents d’IA.
Ensemble, les équipes opérationnelles, les ingénieurs et les professionnels de la sécurité doivent comprendre leur rôle dans la supervision du flux de travail des agents IA. Chaque agent doit se voir attribuer un propriétaire humain spécifique pour une surveillance et une responsabilité clairement définies. Les organisations devraient permettre à tout être humain de signaler ou d’ignorer le comportement d’un agent IA si une action a des conséquences négatives.
Lorsqu’elles envisagent des tâches pour les agents d’IA, les organisations doivent comprendre que, si l’automatisation traditionnelle est efficace pour gérer des processus répétitifs basés sur des règles avec des entrées de données structurées, les agents d’IA peuvent gérer des tâches plus complexes et s’adapter aux nouvelles informations de manière plus autonome. Cela en fait une solution intéressante pour tous les types de travaux. Mais lorsque des agents IA sont déployés, les organisations doivent contrôler les actions que les agents peuvent entreprendre, en particulier dans les premières étapes d’un projet. Ainsi, les équipes travaillant avec des agents d’IA doivent disposer de chemins d’autorisation pour les activités à fort impact afin de garantir que la portée de l’agent ne s’étend pas au-delà du cas d’utilisation prévu, réduisant ainsi les risques pour le système dans son ensemble.
2 : Cuisson de sécurité
L’introduction de nouveaux outils ne doit pas exposer un système à de nouveaux risques de sécurité.
Les organisations doivent envisager des plates-formes agentiques qui adhèrent à des normes de sécurité élevées et sont validées par des certifications de niveau entreprise telles que SOC2, FedRAMP ou équivalent. De plus, les agents d’IA ne doivent pas avoir carte blanche dans les systèmes d’une organisation. Au minimum, les autorisations et la portée de sécurité d’un agent IA doivent être cohérentes avec la portée du propriétaire, et les outils ajoutés à l’agent ne doivent pas permettre des autorisations améliorées. Limiter l’accès des agents IA à un système en fonction de leur rôle garantira également le bon déroulement du déploiement. Tenir un journal complet de chaque action entreprise par un agent IA peut aider les ingénieurs à comprendre ce qui s’est passé en cas d’incident et à trouver le problème.
3 : Rendre la sortie interprétable
L’utilisation de l’IA dans une organisation ne peut jamais être une boîte noire. La logique derrière toute action doit être décrite afin que tout ingénieur qui tente d’y accéder puisse comprendre le contexte utilisé par l’agent pour prendre des décisions et accéder aux traces qui ont conduit à ces actions.
je suisLes entrées et sorties de chaque action doivent être enregistrées et accessibles. Cela aidera les organisations à établir une vue d’ensemble solide de la logique qui sous-tend les actions d’un agent d’IA, ce qui apportera une valeur significative en cas de problème.
La sécurité met l’accent sur le succès des agents IA
Les agents IA offrent aux organisations une énorme opportunité d’accélérer et d’améliorer leurs processus existants. Toutefois, s’ils ne donnent pas la priorité à la sécurité et à une gouvernance solide, ils pourraient être confrontés à de nouveaux risques.
À mesure que les agents d’IA deviennent plus courants, les organisations doivent s’assurer qu’elles disposent de systèmes pour mesurer leurs performances et leur capacité à agir lorsqu’ils créent des problèmes.
En savoir plus sur nous Auteur invité. Ou pensez à soumettre votre propre message ! nous voir Les directives sont ici.
