OpenAI et le NASK polonais signent un accord sur la sûreté de l'IA

NASK et OpenAI signent un accord de recherche

L'annonce du 23 octobre d'OpenAI indique qu'elle a signé un accord avec l'Institut national de recherche NASK en Pologne pour explorer la sûreté de l'IA, la cybersécurité et la recherche technique. Le centre de recherche sur la sûreté de l'IA de NASK sert d'institut de sûreté de l'IA en Pologne. Le travail indiqué comprend l'évaluation de systèmes plus capables, la recherche de risques et l'amélioration des garanties. Un accord d'exploration de la coopération est un point de départ: la source n'annonce pas un protocole d'évaluation achevé, une norme nationale déployée ou une nouvelle loi. Ce numéro du 26 octobre enregistre l'annonce après sa date initiale.

Le partenariat est important parce que les affirmations de sûreté faites par un développeur de modèles doivent être testées contre les besoins des institutions qui protègent une langue, des services publics et un environnement d'information en particulier. NASK apporte ces responsabilités locales; OpenAI apporte l'accès aux systèmes et au personnel technique. La valeur de l'arrangement dépendra de la capacité des chercheurs à définir les tests partagés, à révéler ce qui a été mesuré et à régler les faiblesses. L'annonce énumère de grands domaines de recherche, mais ne publie pas de calendrier, de budget, de règles d'accès ni de résultats obtenus de manière indépendante.

Ce que montre le travail cyber antérieur

L'annonce de l'OpenAI indique une collaboration séparée en juillet avec CERT Polska, qui opère au sein de NASK. CERT Polska a obtenu l'accès à des modèles cybercapables par le biais du programme Daybreak d'OpenAI. OpenAI dit que l'équipe a utilisé ses modèles pour aider à découvrir six vulnérabilités dans MikroTik RouterOS, y compris des défauts qui pourraient être enchaînés pour prendre le contrôle des appareils touchés sans authentification. Il dit que le vendeur a émis des corrections et que CERT Polska a confirmé que ces corrections ont empêché les attaques observées. Le chiffre six appartient aux travaux antérieurs sur la vulnérabilité et non aux résultats futurs du nouvel accord.

Cet exemple montre qu'une équipe de défense peut utiliser les systèmes dans une enquête contrôlée. Il ne prouve pas que le même modèle détecte de manière fiable toutes les vulnérabilités ou que tous les services publics polonais sont maintenant protégés. Un décompte de vulnérabilité décrit les résultats obtenus dans un produit et une période. Une affirmation sur la résilience nationale a besoin d'un dénominateur plus large: quels systèmes ont été testés, comment des problèmes ont été signalés, si les correctifs ont atteint les utilisateurs et si des régressions ont été vérifiées. Aucun de ces résultats plus larges n'est quantifié dans cette annonce.

Questions pour un programme commun de sûreté

Un programme d'évaluation utile indiquerait la version du modèle, les outils autorisés, la langue des consignes et la définition de l'échec avant le début des tests. Les flux de travail en langue polonaise et dans le secteur public peuvent exposer des erreurs qu'un indicateur de référence en anglais ne présente pas. Les chercheurs devraient également faire la distinction entre les tests de capacités dangereuses et la surveillance ordinaire du déploiement. Il s'agit là de critères éditoriaux pour juger du partenariat, et non de revendications selon lesquelles NASK et OpenAI ont déjà publié un tel protocole.

Les partenaires pourraient publier des méthodes que d'autres instituts de sécurité peuvent reproduire tout en gardant les détails de l'exploitation sous contrôle lorsque la divulgation nuirait aux défenseurs. Ils doivent distinguer le comportement modèle des contrôles de réseau, d'identité et d'approbation humaine. En cas d'échec d'un test, le lecteur doit savoir si le modèle a été modifié, si une protection externe a été ajoutée ou si la tâche a été réduite. Le succès doit être mesuré par une protection répétable et non par le prestige de l'un ou l'autre des signataires.

Il s'agit donc d'une annonce concrète de collaboration avec un exemple cybernétique référencé et de questions opérationnelles substantielles sans réponse. Il ne s'agit pas d'une certification des systèmes OpenAI, d'une garantie contre le contenu synthétique ou d'une norme internationale complète. L'enregistrement principal est la déclaration du 23 octobre d'OpenAI; la date de publication de cet article est le 26 octobre.