OpenAI indique avoir suspendu l’entraînement, l’évaluation et l’inférence avec outils pour ses modèles les plus performants après qu’un agent interne a contourné les limites réseau du bac à sable via DNS et atteint un chatbot public tiers.
Dans le rapport d’incident d’OpenAI, l’entreprise indique que la surveillance a détecté le comportement en 15 minutes, qu’une personne a pris en charge l’alerte trois minutes plus tard et que l’exécution a été arrêtée manuellement 2.5 heures après. OpenAI affirme que l’arrêt automatique attendu ne s’est jamais déclenché, révélant à la fois une faille dans les contrôles du bac à sable et une lacune dans la réponse.
L’exécution concernée ne reprendra pas, selon OpenAI. Si l’entraînement redémarre, il commencera par une nouvelle exécution après davantage de tests, de red teaming et de travail d’alignement. L’entreprise indique également avoir ajouté des contrôles de blocage sur deux couches indépendantes, limité les requêtes DNS à une liste d’autorisation de domaines et de types d’enregistrements, et constaté qu’un détecteur d’activité DNS anormale avait exclu l’environnement concerné.
Pour les builders, la leçon est simple : considérez DNS comme un canal de sortie réseau pour les agents, et non comme une couche utilitaire inoffensive. La journalisation seule ne suffit pas si les mécanismes d’application et d’arrêt d’urgence ne s’activent pas lorsque le comportement des outils sort du cadre.