Une entreprise leader en IA dit l’évidence quand c’est rafraîchissant. UN Article détaillé Concernant le durcissement de ChatGPT Atlas contre l’injection rapide, OpenAI a reconnu ce que les praticiens de la sécurité savaient depuis des années : « Il est peu probable que l’injection rapide, tout comme les escroqueries et l’ingénierie sociale sur le Web, soit entièrement « résolue ».
Ce qui est nouveau n’est pas un risque, c’est une admission. OpenAI, la société qui déploie l’un des agents d’IA les plus utilisés, a confirmé publiquement que le mode agent « élargit la surface des menaces de sécurité » et que même des défenses sophistiquées ne peuvent garantir le déterminisme. Pour les entreprises qui utilisent déjà l’IA en production, c’est une évidence. C’est une validation – et un signal que l’écart entre la façon dont l’IA est déployée et la façon dont elle est défendue n’est plus théorique.
Piloter l’IA dans le secteur manufacturier n’est pas une surprise. Les responsables de la sécurité s’inquiètent de l’écart entre cette réalité et l’état de préparation des entreprises. Une enquête VentureBeat menée auprès de 100 décideurs technologiques a révélé que 34,7 % des organisations ont déployé des défenses dédiées à l’injection rapide. Les 65,3 % restants n’ont pas acheté ces outils ou n’ont pas pu confirmer qu’ils les possédaient.
La menace est désormais officiellement permanente. La plupart des entreprises ne sont toujours pas équipées pour détecter ce phénomène, et encore moins pour l’arrêter.
L’attaquant automatisé basé sur LLM d’OpenAI trouve des failles qui manquent aux équipes rouges
L’architecture défensive d’OpenAI mérite un examen minutieux car elle représente le plafond actuel de ce qui est possible. La plupart, sinon la totalité, des entreprises commerciales ne seront pas en mesure de reproduire cela, ce qui rend les avancées qu’elles ont partagées cette semaine d’autant plus pertinentes pour les responsables de la sécurité qui développent des applications et des plateformes d’IA pour protéger la sécurité.
L’entreprise est une construction “Attaquant automatisé basé sur LLM” L’injection rapide est entraînée de bout en bout avec un apprentissage par renforcement pour découvrir les vulnérabilités. Contrairement au red-teaming traditionnel qui expose les échecs courants, le système d’OpenAI peut « inciter un agent à exécuter des flux de travail malveillants sophistiqués et à long terme qui se déroulent sur des dizaines (ou des centaines) d’étapes » en extrayant des chaînes de sortie spécifiques ou en déclenchant des appels d’outils involontaires en une seule étape.
Voici comment cela fonctionne. L’attaquant automatisé propose une injection de candidat et l’envoie à un simulateur externe. Le simulateur exécute un déploiement contrefactuel du comportement de l’agent victime ciblé, renvoie une logique complète et une trace d’action, et l’attaquant itère. OpenAI affirme avoir découvert des modèles d’attaques qui “n’apparaissent pas dans nos campagnes d’équipe rouge humaine ni dans les rapports externes”.
Un système d’attaque affiche les paris exposés. Un e-mail malveillant déposé dans la boîte de réception d’un utilisateur contient des instructions cachées. Lorsque l’agent Atlas analyse les messages pour rédiger une réponse d’absence du bureau, il suit l’invite d’injection au lieu de rédiger une lettre de démission adressée au PDG de l’utilisateur. Jamais écrit en dehors du bureau. L’agent a démissionné au nom de l’utilisateur.
OpenAI a répondu en livrant « un nouveau modèle formé de manière contradictoire et des protections de quartier renforcées ». La pile défensive de l’entreprise combine désormais la découverte automatisée des attaques, la formation des adversaires contre les attaques nouvellement découvertes et la protection au niveau du système au-delà des modèles.
Contrairement à la façon dont les entreprises d’IA peuvent se montrer discrètes et prudentes à l’égard des résultats des équipes rouges, OpenAI a été direct quant aux limites : « La nature de l’injection rapide rend les garanties de sécurité déterministes difficiles. » En d’autres termes, cela signifie « même avec cette infrastructure, ils ne peuvent pas garantir la défense ».
Cet aveu intervient alors que les entreprises passent du statut de copilote à celui d’agent autonome – juste au moment où l’injection rapide cesse d’être un risque théorique et devient un risque opérationnel.
OpenAI définit ce que les entreprises peuvent faire pour rester en sécurité
OpenAI a transféré une responsabilité importante aux entreprises et aux utilisateurs qui les soutiennent. Il s’agit d’une tendance de longue date que les équipes de sécurité doivent reconnaître Modèle de responsabilité partagée dans le cloud.
L’entreprise recommande expressément d’utiliser le mode de déconnexion lorsque les agents n’ont pas besoin d’accéder à des sites authentifiés. Il recommande d’examiner attentivement les demandes de confirmation avant qu’un agent ne prenne une mesure conséquente, comme envoyer un e-mail ou finaliser un achat.
Et il met en garde contre des directives larges. “Évitez les invites trop larges telles que” Consultez mes e-mails et acceptez tout ce qui est nécessaire “”, écrit OpenAI. « La grande latitude facilite la dissimulation ou le contenu malveillant pour influencer les agents, même lorsque des mesures de sécurité sont en place. »
Ses implications pour l’autonomie des agents et ses menaces potentielles sont claires. Plus vous donnez de liberté à un agent IA, plus vous créez de surface d’attaque. OpenAI construit des défenses, mais les entreprises et les utilisateurs qu’elles protègent ont la responsabilité de limiter l’exposition.
Où en sont les institutions aujourd’hui
Pour comprendre dans quelle mesure les entreprises sont réellement préparées, VentureBeat a interrogé 100 décideurs technologiques de toutes tailles, des startups aux entreprises de plus de 10 000 employés. Nous avons posé une question simple : votre organisation a-t-elle acheté et mis en œuvre des solutions dédiées pour un filtrage rapide et une détection des abus ?
Seulement 34,7 % ont répondu oui. Les 65,3 % restants ont répondu non ou n’ont pas pu confirmer le statut de leur établissement.
Cette distinction est importante. Cela montre que la défense contre l’injection rapide n’est plus un concept émergent ; Il s’agit d’une catégorie de produits d’expédition avec une véritable adoption par les entreprises. Mais cela révèle également à quel point le marché est encore précoce. Environ les deux tiers des organisations qui utilisent aujourd’hui des systèmes d’IA fonctionnent sans sécurité dédiée, s’appuyant plutôt sur un modèle de sécurité par défaut, des politiques internes ou la formation des utilisateurs.
Parmi la majorité des entreprises interrogées sans défense dédiée, la principale réponse concernant les achats futurs était l’incertitude. Interrogés sur les futurs achats, la plupart des personnes interrogées ne sont pas parvenues à articuler un calendrier clair ou un cheminement de décision. Le signal le plus révélateur n’était pas le manque de fournisseurs ou de solutions disponibles, mais plutôt l’indécision. Dans de nombreux cas, les organisations semblent déployer l’IA plus rapidement qu’elles ne formalisent comment la sécuriser.
Les données ne peuvent pas expliquer pourquoi l’adoption est à la traîne, que ce soit en raison de contraintes budgétaires, de priorités concurrentes, de déploiements immatures ou de la conviction que les garanties existantes sont suffisantes. Mais cela montre clairement une chose : l’adoption de l’IA dépasse la préparation à la sécurité de l’IA.
Problème d’inégalité
L’approche défensive d’OpenAI profite à la plupart des entreprises. L’entreprise dispose d’un accès en boîte blanche à ses propres modèles, d’une compréhension approfondie de sa pile de défense et de calculs pour exécuter des simulations d’attaques continues. Son attaquant automatisé “obtient un accès privilégié aux symboles logiques du défenseur”, lui donnant “un avantage asymétrique, augmentant les chances qu’il puisse déjouer les adversaires externes”.
Les entreprises qui déploient des agents d’IA sont considérablement désavantagées. Alors qu’OpenAI utilise une approche boîte blanche et une simulation continue, la plupart des organisations travaillent avec des modèles boîte noire et une visibilité limitée sur les processus de raisonnement de leurs agents. Rares sont ceux qui disposent des ressources nécessaires à une infrastructure automatisée de red-teaming. Cette asymétrie crée un problème critique : à mesure que les organisations développent leurs déploiements d’IA, leurs capacités défensives restent stagnantes, en attendant que le cycle d’achat rattrape son retard.
Des fournisseurs tiers de défense par injection rapide, notamment Robust Intelligence, Lakera et Prompt Security (qui font désormais partie de SentinelOne), tentent de combler ce vide. Mais l’adoption reste faible. 65,3 % des organisations sans défenses dédiées indiquent que leurs fournisseurs de modèles travaillent sur certaines défenses intégrées, ainsi que sur des documents de politique et des formations de sensibilisation.
Le message d’OpenAI indique clairement que même des défenses sophistiquées ne peuvent garantir le déterminisme.
Que devraient en retenir les RSSI ?
L’annonce d’OpenAI ne change pas le modèle de menace ; Cela le légitime. L’injection rapide est réelle, sophistiquée et permanente. Les compagnies maritimes d’agents d’IA les plus avancées ont dit aux responsables de la sécurité de s’attendre à cette menace indéfiniment.
Trois implications pratiques s’ensuivent :
-
Plus l’autonomie de l’agent est grande, plus la surface d’attaque est grande. Les directives d’OpenAI pour éviter les invites trop longues s’appliquent au-delà d’Atlas. Tout agent d’IA disposant d’une grande latitude et ayant accès à des systèmes sensibles crée la même exposition. comme Forrester Comme indiqué plus tôt cette année lors de leur conférence annuelle sur la sécurité, l’IA générative est un agent du chaos. Cette prédiction s’est avérée prémonitoire, sur la base des résultats des tests d’OpenAI publiés cette semaine.
-
La détection est plus importante que la prévention. Si une défense décisive n’est pas possible, la visibilité devient critique. Les organisations doivent savoir quand les agents se comportent de manière inattendue, et pas seulement espérer que des mesures de protection sont en place.
-
La décision d’achat ou de construction est en direct. OpenAI investit massivement dans le red-teaming automatisé et l’entraînement des adversaires. La plupart des entreprises ne peuvent pas reproduire cela. La question est de savoir si les outils tiers peuvent combler l’écart et si les 65,3 % qui ne disposent pas d’une défense dédiée détecteront un incident avant qu’il ne déclenche le problème.
résultat net
OpenAI dit ce que les praticiens de la sécurité savaient déjà : l’injection rapide est une menace persistante. L’IA agentique la plus urgente de l’agence a confirmé cette semaine que « le mode agent… élargit la surface des menaces de sécurité » et que les défenses nécessitent un investissement continu, et non des solutions ponctuelles.
34,7 % des organisations disposant de défenses dédiées ne sont pas à l’abri, mais sont en mesure de détecter les attaques lorsqu’elles se produisent. En revanche, la plupart des organisations s’appuient sur des documents de sécurité et de stratégie par défaut plutôt que sur une sécurité spécialement conçue. Les recherches d’OpenAI montrent clairement que même des défenses sophistiquées ne peuvent garantir le déterminisme, soulignant les risques de cette approche.
L’annonce d’OpenAI cette semaine souligne ce que les données montrent déjà : l’écart entre le déploiement de l’IA et la sécurité de l’IA est réel et se creuse. Attendre des garanties définitives n’est plus une stratégie. Les responsables de la sécurité doivent agir en conséquence.
