OpenAI propose un cadre de « justification de sécurité » pour l'entraînement de l'IA de pointe, suggérant de passer par des documents de sécurité avant de commencer
Dans un communiqué de Beating AI, un article long intitulé « Towards safety cases for frontier AI training » a été publié. Il est mentionné que l'entraînement de renforcement de pointe doit être accompagné d'une documentation de sécurité structurée avant de progresser. L'idéal serait de s'aligner sur les « justifications de sécurité » des secteurs aéronautique et nucléaire. L'entreprise reconnaît qu'en raison de la complexité émergente après une avancée des capacités, il est difficile pour l'IA d'être aussi rigoureuse que dans les secteurs à haut risque traditionnels. Actuellement, ce cadre est encore en cours de mise en œuvre interne et cherche des retours externes. Il est clairement indiqué qu'il ne couvre que l'entraînement RL de pointe, et que le déploiement interne et externe nécessite une considération plus large des attributs d'alignement.
Du côté technique, la justification de sécurité est décomposée en trois niveaux : alignement, isolation et surveillance. En ce qui concerne l'alignement, cela inclut l'examen automatique/humain des environnements RL, l'ajustement des évaluateurs pour prévenir le piratage des récompenses, l'évaluation et le backtesting hors ligne de l'alignement, ainsi que l'interdiction pour les évaluateurs automatiques de lire les chaînes de pensée, afin d'éviter que le modèle n'apprenne à échapper à la surveillance. L'aspect isolation met l'accent sur des infrastructures renforcées et des bacs à sable multicouches, l'utilisation de points de contrôle d'entraînement pour les équipes rouges, la limitation de la communication à haut débit entre les échantillons, et l'utilisation de stockage en écriture unique pour conserver les enregistrements de dialogue. En matière de surveillance, il est exigé que le modèle reste surveillable, qu'il ait un rappel élevé des incidents historiques, que les nouveaux risques soient évalués en temps opportun, et que les alertes de haute priorité soient répondues manuellement ou automatiquement suspendues dans un délai convenu.
Du côté opérationnel, les recommandations incluent : la rédaction de simulations d'objection par d'autres équipes, le droit de veto des cadres supérieurs (responsables de la recherche, responsables de la sécurité, chefs scientifiques, etc.) pour commencer, la responsabilité des responsables de l'entraînement concernant la justification de sécurité et la réponse aux incidents, la suspension selon le manuel en cas d'échec de la justification de sécurité, la divulgation aux comités de surveillance internes, la fourniture de suffisamment de droits de vérification aux auditeurs, la classification des niveaux de gravité des erreurs et la possibilité pour le personnel de service d'appeler le PDG. Le système doit par défaut se fermer en cas d'échec et ne peut pas commencer sans surveillance ; il doit également être capable de revenir en arrière sur les données et évaluations en aval contaminées par des modèles mal alignés.
En ce qui concerne les enquêtes sur les incidents, il est proposé de s'aligner sur les pratiques d'enquête aéronautique : communication interne continue pendant l'enquête, utilisation de l'ablation et du rééchantillonnage pour retracer la dynamique d'entraînement, rétrospective des opérations et de la culture, développement d'évaluations de détection qui ne s'ajustent pas directement aux échantillons d'incidents, et tests de régression basés sur des évaluations dérivées d'incidents. Les conclusions d'enquête, les rétrospectives et les modifications de processus doivent être divulguées à l'extérieur après la fin, et les tiers affectés doivent être informés rapidement.
Prix de --
Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.
Vous pourriez aussi aimer

Le drone Anduril d'Archer commence des tests de vol à grande échelle en 2027. Voici pourquoi la défense pourrait valoir plus que les taxis aériens.

Voici les 4 règles d'investissement que je ne briserai jamais, peu importe à quel point le marché boursier devient effrayant

Johnson & Johnson est en bonne voie pour atteindre 101 milliards de dollars de ventes en 2026. Ce roi des dividendes est-il toujours un bon investissement ?

Que se passe-t-il avec l'action de The Trade Desk ? 3 raisons pour lesquelles les investisseurs perdent confiance.

Altria offre un rendement de 5,8 % et a augmenté son dividende 61 fois en 57 ans. Voici exactement combien 5 000 $ investis rapportent chaque année.

Pas Lucid. Pas Ford. L'action EV la plus susceptible d'attirer chaque acheteur de Cybertruck remboursé.

La chute du Bitcoin en dessous de 60 000 $ met la décision de la Fed de décembre sous les projecteurs

Comment protéger sa richesse face à la tempête géopolitique ?

Où sera l'action Nvidia dans 20 ans ? La réponse pourrait vous surprendre.

Netflix tombe en dessous de 60 $. Bill Ackman explique pourquoi c'est une incroyable opportunité d'investissement.

Le milliardaire David Tepper vient de réaliser une rotation massive des puces AI - Cela va-t-il porter ses fruits ?

Serenity : le marché remet en question la croissance des activités liées à l'IA, une opportunité d'achat à saisir

CICC : Les chocs externes affectent à nouveau la performance du marché

Si un krach boursier se profile, Warren Buffett dit que c'est le premier mouvement que tous les investisseurs devraient faire

Devez-vous investir 1 000 $ dans Bloom Energy maintenant ?

Tilray est-elle un bon investissement à son niveau record, ou s'agit-il d'un piège à valeur ?

2 actions financières à acheter près de leurs plus bas de 52 semaines

Le nouveau rachat de 12 milliards de dollars d'Airbnb est soutenu par une marge de flux de trésorerie disponible de 35 %. Voici ce que cela signifie pour les actionnaires.

Pas Anthropic. Pas SpaceX. Voici l'action d'IA à acheter pour le long terme

Greg Abel vient d'approuver un record de 9,6 milliards de dollars en rachats d'actions pour Berkshire Hathaway au dernier trimestre, plus du double du rythme établi au deuxième trimestre. Berkshire est-elle toujours un bon investissement alors que les ...

Les agents de sécurité du port de Los Angeles parviennent à un accord temporaire pour lever la menace de grève

Bitcoin teste les moyennes mobiles de 300 et 350 semaines, les données historiques montrent plusieurs points bas

Le stock de Markel Group est-il un bon achat après une chute de 10 % en 2026 ?

Benson Sun n'achètera pas de BTC tant que les flux des ETF au comptant ne redeviendront pas positifs

Point de vue : La perte de 6000 milliards de dollars des actions américaines en 45 jours n'est pas l'éclatement de la bulle AI, une reprise similaire à celle d'avril 2025 pourrait se reproduire

Coca-Cola est-elle une action qui fait des millionnaires ?

Take-Two Interactive contre Anthropic : Quelle action à fort potentiel est le meilleur achat ?

Le responsable des relations investisseurs de Strategy déclare que l'introduction en bourse d'Anthropic est un catalyseur de la correction du Bitcoin

Le retournement de situation de 'The Altruists' de SBF : Les actions d'Anthropic d'FTX vaudraient 43 milliards de dollars




