OpenAI propose un cadre de « justification de sécurité » pour l'entraînement de l'IA de pointe, suggérant de passer par des documents de sécurité avant de commencer

By: openai.com|

Dans un communiqué de Beating AI, un article long intitulé « Towards safety cases for frontier AI training » a été publié. Il est mentionné que l'entraînement de renforcement de pointe doit être accompagné d'une documentation de sécurité structurée avant de progresser. L'idéal serait de s'aligner sur les « justifications de sécurité » des secteurs aéronautique et nucléaire. L'entreprise reconnaît qu'en raison de la complexité émergente après une avancée des capacités, il est difficile pour l'IA d'être aussi rigoureuse que dans les secteurs à haut risque traditionnels. Actuellement, ce cadre est encore en cours de mise en œuvre interne et cherche des retours externes. Il est clairement indiqué qu'il ne couvre que l'entraînement RL de pointe, et que le déploiement interne et externe nécessite une considération plus large des attributs d'alignement.

Du côté technique, la justification de sécurité est décomposée en trois niveaux : alignement, isolation et surveillance. En ce qui concerne l'alignement, cela inclut l'examen automatique/humain des environnements RL, l'ajustement des évaluateurs pour prévenir le piratage des récompenses, l'évaluation et le backtesting hors ligne de l'alignement, ainsi que l'interdiction pour les évaluateurs automatiques de lire les chaînes de pensée, afin d'éviter que le modèle n'apprenne à échapper à la surveillance. L'aspect isolation met l'accent sur des infrastructures renforcées et des bacs à sable multicouches, l'utilisation de points de contrôle d'entraînement pour les équipes rouges, la limitation de la communication à haut débit entre les échantillons, et l'utilisation de stockage en écriture unique pour conserver les enregistrements de dialogue. En matière de surveillance, il est exigé que le modèle reste surveillable, qu'il ait un rappel élevé des incidents historiques, que les nouveaux risques soient évalués en temps opportun, et que les alertes de haute priorité soient répondues manuellement ou automatiquement suspendues dans un délai convenu.

Du côté opérationnel, les recommandations incluent : la rédaction de simulations d'objection par d'autres équipes, le droit de veto des cadres supérieurs (responsables de la recherche, responsables de la sécurité, chefs scientifiques, etc.) pour commencer, la responsabilité des responsables de l'entraînement concernant la justification de sécurité et la réponse aux incidents, la suspension selon le manuel en cas d'échec de la justification de sécurité, la divulgation aux comités de surveillance internes, la fourniture de suffisamment de droits de vérification aux auditeurs, la classification des niveaux de gravité des erreurs et la possibilité pour le personnel de service d'appeler le PDG. Le système doit par défaut se fermer en cas d'échec et ne peut pas commencer sans surveillance ; il doit également être capable de revenir en arrière sur les données et évaluations en aval contaminées par des modèles mal alignés.

En ce qui concerne les enquêtes sur les incidents, il est proposé de s'aligner sur les pratiques d'enquête aéronautique : communication interne continue pendant l'enquête, utilisation de l'ablation et du rééchantillonnage pour retracer la dynamique d'entraînement, rétrospective des opérations et de la culture, développement d'évaluations de détection qui ne s'ajustent pas directement aux échantillons d'incidents, et tests de régression basés sur des évaluations dérivées d'incidents. Les conclusions d'enquête, les rétrospectives et les modifications de processus doivent être divulguées à l'extérieur après la fin, et les tiers affectés doivent être informés rapidement.

Prix de --

--
--
--

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.

Vous pourriez aussi aimer

Le drone Anduril d'Archer commence des tests de vol à grande échelle en 2027. Voici pourquoi la défense pourrait valoir plus que les taxis aériens.

L'initiative de défense d'Archer aide à diversifier alors que son entreprise de taxi aérien commercial attend la certification de la FAA.

Voici les 4 règles d'investissement que je ne briserai jamais, peu importe à quel point le marché boursier devient effrayant

Il est facile d'être discipliné lorsque un marché haussier fait monter les choses. Cependant, c'est lorsque les choses deviennent difficiles que suivre les règles est le plus important.

Johnson & Johnson est en bonne voie pour atteindre 101 milliards de dollars de ventes en 2026. Ce roi des dividendes est-il toujours un bon investissement ?

Johnson & Johnson est un géant de la santé qui performe très bien en ce moment, mais ce n'est pas forcément un bon choix pour tous les investisseurs.

Que se passe-t-il avec l'action de The Trade Desk ? 3 raisons pour lesquelles les investisseurs perdent confiance.

The Trade Desk est-elle une histoire de redressement ou un piège à valeur ?

Altria offre un rendement de 5,8 % et a augmenté son dividende 61 fois en 57 ans. Voici exactement combien 5 000 $ investis rapportent chaque année.

Les investisseurs qui commencent avec des mises relativement petites peuvent tirer un revenu considérable d'Altria.

Pas Lucid. Pas Ford. L'action EV la plus susceptible d'attirer chaque acheteur de Cybertruck remboursé.

Avec Tesla mettant fin à la production du Cybertruck, les acheteurs de véhicules électriques ont une destination claire.
...
iconiconiconiconiconiconiconicon
Assistance client:@weikecs
Collaborations commerciales:@weikecs
Trading quantitatif/Market makers:bd@weex.com
Programme VIP:support@weex.com