OpenAI propõe estrutura de "justificação de segurança" para treino de IA de ponta, sugerindo que a segurança deve ser verificada antes do início

A Beating AI reportou que a OpenAI publicou um longo artigo intitulado "Towards safety cases for frontier AI training" (Rumo a casos de segurança para o treino de IA de ponta). O documento menciona que, antes de avançar com o treino de reforço de ponta, deve ser concluído um documento de segurança estruturado, idealmente alinhado com as "justificações de segurança" das indústrias da aviação e da energia nuclear. A empresa reconhece que, devido à complexidade emergente após a transição de capacidades, é difícil para a IA atingir o mesmo rigor que as indústrias de alto risco tradicionais. Atualmente, a estrutura ainda está a ser implementada internamente e está aberta a feedback externo. É claro que abrange apenas o treino de RL de ponta, e a implementação interna e externa requer uma consideração mais ampla das propriedades de alinhamento.

No lado técnico, a justificação de segurança é dividida em três camadas: alinhamento, isolamento e monitorização. O alinhamento inclui a revisão automática/manual do ambiente de RL, ajuste do avaliador para prevenir hackers de recompensas, avaliação de alinhamento offline e retrospetiva, e proibição de avaliadores automáticos de ler cadeias de pensamento para evitar que o modelo aprenda a evitar a monitorização. O isolamento enfatiza o uso de múltiplas camadas de sandbox e reforço da infraestrutura, utilizando pontos de verificação de treino para testes de ataque, limitando a comunicação de alta largura de banda entre amostras, e utilizando armazenamento de escrita única para solidificar os registos de diálogo. A monitorização exige que o modelo mantenha a monitorização, tenha alta recuperação de acidentes históricos, e que novos riscos sejam avaliados rapidamente, com alarmes de alta prioridade a serem respondidos manualmente ou a suspensão automática do treino dentro de um prazo acordado.

As recomendações operacionais incluem: que outras equipas escrevam simulações de objeções, que executivos (responsáveis pela pesquisa, segurança, cientistas principais, etc.) possam vetar o início do treino, que os responsáveis pelo treino sejam responsabilizados pela justificação de segurança e resposta a acidentes, que o treino seja suspenso de acordo com o manual em caso de falha da justificação de segurança, que seja tornada pública ao comitê de supervisão interno, que se conceda à auditoria permissões suficientes para verificação, que se classifique a gravidade das falhas e se permita que os operadores chamem o CEO. O sistema deve fechar por padrão em caso de falha, não podendo iniciar sem monitorização; ao mesmo tempo, deve ser capaz de reverter dados e avaliações downstream contaminados por modelos desalinhados.

No que diz respeito à investigação de acidentes, propõe-se alinhar com as práticas de investigação da aviação: comunicação interna contínua durante o período de investigação, utilização de ablação e reamostragem para rastrear a dinâmica do treino, revisão operacional e cultural, desenvolvimento de avaliações de deteção que não se ajustem diretamente a amostras de acidentes, e testes de regressão com avaliações derivadas de acidentes. As conclusões da investigação, revisões e alterações de processos devem ser divulgadas externamente após a conclusão, e as partes afetadas devem ser informadas o mais rapidamente possível.

Este conteúdo é disponibilizado apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou fiscal. Quaisquer eventos, recompensas, promoções online ou informações relacionadas aqui mencionados não devem ser interpretados como uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar quaisquer outras operações com criptoativos. Os criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar consoante a região. O utilizador é responsável por garantir que a sua participação está em conformidade com a legislação e os regulamentos locais aplicáveis.