A IA precisa de um botão de pausa, mas quem tem o direito de apertá-lo?

Autor: Xiaobai

Este artigo é uma contribuição original do autor, e as opiniões representam apenas a compreensão pessoal do autor. A ETHPanda editou e organizou o conteúdo.

O debate em torno da IA muitas vezes é simplificado em dois campos: um que defende a aceleração contínua e outro que defende uma pausa imediata.

Vitalik, ao responder ao "AI 2040: Plan A", apontou que a verdadeira divergência neste debate não é uma escolha de política, mas sim a diferença fundamental nas avaliações que as pessoas têm sobre o futuro.

Uma avaliação considera que a IA ainda é uma "tecnologia comum". Ela mudará o emprego, a indústria e a estrutura social, mas, em última análise, ainda será limitada pelo mercado, pela legislação, pela energia, pelo capital e pela capacidade organizacional.

Outra avaliação acredita que, uma vez que a IA comece a participar em larga escala do desenvolvimento de IA, o crescimento das capacidades pode entrar em um ciclo rápido. Nesse momento, a humanidade não enfrentará apenas a substituição de empregos, mas poderá gradualmente perder o controle real sobre a pesquisa, a economia, a militarização e as instituições.

Se a primeira avaliação for correta, estabelecer um sistema global de rastreamento de chips, aprovação de capacidade computacional e monitoramento de centros de dados pode ser uma reação exagerada.

Mas se a segunda avaliação for correta, continuar a manter a competição padrão, acreditando que o mercado resolverá tudo automaticamente, também é uma aposta de alto risco.

Portanto, a verdadeira questão que a governança da IA precisa responder não é apenas "devemos pausar?", mas sim:

Como preservar a capacidade de desacelerar sem entregar o poder permanente a uma minoria, quando não se pode determinar a que tipo de mundo o futuro pertence?

O núcleo do "AI 2040" não é apenas "desacelerar"

O "AI 2040" propõe uma rota de transição para uma superinteligência relativamente idealizada.

Ele imagina que os principais países e empresas de IA, através da coordenação internacional, desacelerem o desenvolvimento da IA de ponta, aumentem a transparência da pesquisa e permitam que mais participantes alcancem níveis próximos da vanguarda, e só então continuem a avançar após resolver questões de segurança e governança.

Eu acredito que o maior problema desse plano não está no objetivo, mas na execução.

Enquanto houver uma parte treinando secretamente modelos mais fortes, os outros participantes temerão ser deixados para trás, e o acordo rapidamente se tornará ineficaz. Portanto, para que a desaceleração seja confiável, é necessário rastrear chips de alta performance, monitorar grandes centros de dados e determinar se a capacidade computacional está sendo usada para treinamento ou outros fins.

Isso significa que, para impedir que a superinteligência forme um novo centro de poder, a humanidade pode precisar estabelecer primeiro um centro de controle de capacidade computacional global.

Esse é exatamente o paradoxo mais difícil de resolver no plano de pausa da IA:

Os mecanismos para prevenir a perda de controle da tecnologia podem, por si mesmos, se tornar ferramentas de perda de controle do poder.

"Os riscos da IA são grandes" não prova automaticamente que um governo, organização internacional ou grande laboratório deve ter poder ilimitado.

Da mesma forma, "a regulamentação pode ser abusada" também não prova que os riscos da IA não existem.

O que realmente precisa ser examinado é a estrutura institucional:

Quem define o perigo, quem controla os dados, quem tem o direito de iniciar restrições, quem pode obter isenções, quem supervisiona os executores e, após um erro de julgamento, se esse poder pode ser retirado.

Se essas questões não tiverem respostas, "segurança da IA" pode facilmente se transformar em uma autorização técnica sem prazo.

Entre o botão de pausa e o trono, só falta uma isenção

"Pausar a IA" soa como uma ação simples, mas na verdade pode representar dois sistemas completamente diferentes.

O primeiro é a pausa seletiva.

Os detentores do poder podem decidir quem tem a qualificação para treinar modelos, quem deve parar; quem pertence a instituições confiáveis e quem é visto como participantes perigosos. Outros são restringidos, enquanto os detentores do poder podem manter modelos, chips e capacidade.

Esse mecanismo não encerra realmente a competição, apenas decide antecipadamente o vencedor.

Não é um botão de pausa, mas mais como um trono.

O segundo é a pausa simétrica.

Quando as condições de risco público são acionadas, todos os principais participantes são restringidos, incluindo a parte responsável pela execução da pausa. Não há isenções secretas, e não se pode exigir que os concorrentes parem enquanto se permite que seu próprio laboratório continue avançando.

Esse mecanismo se aproxima mais de um verdadeiro disjuntor.

Vitalik confirmou claramente que o Plano A introduz "destruição mútua de capacidade computacional". Em comparação com permitir que poucos participantes tenham o poder de restringir seletivamente os outros, enquanto se isentam, esse mecanismo é pelo menos mais simétrico.

Mas a simetria também não resolve automaticamente o problema.

Um sistema que pode levar à paralisação em larga escala da capacidade computacional avançada global é, por si só, uma ferramenta de poder extremamente forte. Ele pode ser acionado por informações erradas, explorado em conflitos políticos, manipulado por insiders e pode causar enormes perdas devido a falhas técnicas.

Portanto, um mecanismo de pausa confiável deve, pelo menos, atender a algumas condições:

As condições de acionamento devem ser públicas, as evidências não podem ser monopolizadas por uma única instituição, as restrições devem ser o mais simétricas possível, a pausa deve ter um prazo claro e as regras para reinício devem ser definidas com antecedência.

Particularmente, não se deve apenas projetar "como entrar em estado de emergência", mas também "como sair do estado de emergência".

Na realidade, uma vez que as instituições obtêm poder, muitas vezes é mais fácil provar que o perigo ainda existe do que devolver o poder ativamente.

Portanto, o mecanismo de pausa da IA também precisa de um botão de pausa.

A verdadeira concentração de poder não vem apenas de empresas e governos

Hoje, ao discutir o poder da IA, as pessoas geralmente se preocupam com duas coisas.

Uma é que poucas grandes empresas monopolizem os modelos mais fortes.

A outra é que os governos, sob o pretexto de segurança, controlem chips, dados e desenvolvedores.

Mas Vitalik alertou para um terceiro risco mais profundo:

A superinteligência em si também pode se tornar o maior concentrador de poder.

A razão pela qual a humanidade hoje possui poder de barganha é porque controla alguns recursos escassos: trabalho, conhecimento, capacidade organizacional, capital, poder político e força. Os diferentes grupos precisam negociar entre si, porque nenhuma parte pode contornar completamente a outra.

Se a IA for mais rápida, mais barata e mais eficaz do que os humanos em pesquisa, programação, gestão, finanças, comunicação, ataques cibernéticos e até planejamento militar, essas capacidades escassas que pertencem originalmente aos humanos rapidamente se desvalorizarão.

Nesse momento, mesmo que haja dez empresas de IA competindo no mercado, isso não significa que a humanidade ainda tenha o poder de decisão final.

A competição de mercado pode limitar os lucros de uma empresa, mas não garante que as pessoas comuns continuem a ter poder de barganha.

Portanto, "deixar pessoas confiáveis controlarem a IA mais forte" não é a resposta completa.

Isso apenas transforma a questão de "a IA controlará a humanidade?" para "qual pequeno grupo deve primeiro obter o poder de controlar a IA mais forte?".

d/acc é a base, mas não é a resposta universal

O d/acc, promovido por Vitalik há muito tempo, pode ser entendido como o desenvolvimento prioritário de tecnologias defensivas e descentralizadas.

Por exemplo, software mais seguro, verificação formal, criptografia, hardware aberto, defesa cibernética, biossegurança e ferramentas de verificação de informações.

O valor dessas direções reside no fato de que elas não dependem de um cronograma preciso para a superinteligência.

Se a IA acabar sendo apenas uma tecnologia comum, software mais seguro, hardware mais confiável e uma capacidade de defesa pública mais forte ainda valem a pena ser construídos.

Se a IA se fortalecer rapidamente, essas tecnologias também podem aumentar a capacidade da sociedade de resistir a ataques cibernéticos, riscos biológicos, portas de hardware e manipulação de informações.

Essa é uma estratégia de baixo arrependimento: quando não se pode determinar a que tipo de mundo o futuro pertence, é melhor construir uma infraestrutura de segurança que valha a pena ter, independentemente do resultado.

Mas o d/acc não é uma panaceia.

Se a capacidade da IA realmente sofrer uma mudança em um curto período, as tecnologias defensivas podem não ser implantadas a tempo. Sistemas mais seguros podem reduzir riscos, mas não provam que todas as competições devem continuar.

Portanto, o d/acc é mais adequado como uma base de longo prazo, enquanto o mecanismo de pausa é um seguro em situações extremas.

A base precisa ser construída continuamente, o seguro não deve ser acionado facilmente, mas também não deve ser projetado apenas depois que o sistema já estiver fora de controle.

Mais importante do que prever datas é acordar antecipadamente as condições de acionamento

A sugestão mais prática de Vitalik neste longo artigo não é pausar a IA imediatamente, mas sim acordar antecipadamente:

Que evidências devem surgir para que todas as partes mudem seu julgamento.

Hoje, exigir que todos concordem que "a superinteligência surgirá em 2030" ou "não surgirá nos próximos vinte anos" é quase impossível.

Mas diferentes campos ainda podem concordar antecipadamente sobre alguns sinais de risco.

Por exemplo:

A IA já é capaz de completar de forma independente tarefas de pesquisa contínuas por várias semanas?

Ela pode acelerar significativamente o desenvolvimento da próxima geração de IA?

Ela possui a capacidade de descobrir e explorar vulnerabilidades na rede em larga escala?

Ela começou a se replicar, obter recursos ou contornar supervisão?

Ela foi conectada a armas, sistemas financeiros e infraestrutura crítica?

Ela já causou danos sociais em larga escala e contínuos?

O foco não é encontrar um indicador perfeito, mas transformar o debate de "você acredita na superinteligência?" para "que evidências reais farão você atualizar seu julgamento?".

Aqueles que acreditam que os riscos da IA são exagerados podem aceitar, porque acreditam que essas situações não ocorrerão.

Aqueles que se preocupam com a superinteligência também podem aceitar, porque acreditam que esses sinais podem surgir rapidamente.

Ambos os lados não precisam unificar sua visão de mundo primeiro, apenas precisam prometer antecipadamente:

Após mudanças na realidade, as políticas também devem mudar.

A intervenção não deve ter apenas dois modos: continuar ou desligar

A verdadeira governança da IA também não deve pular diretamente entre "desenvolvimento totalmente livre" e "desligamento global".

Uma maneira mais razoável é estabelecer intervenções graduais.

Quando o risco é baixo, aumentar a divulgação de capacidades, relatórios de incidentes e testes de terceiros.

À medida que o risco continua a aumentar, restringir o acesso de modelos a infraestruturas críticas, limitar a execução autônoma, movimentação de fundos, controle de armas e outras permissões de alto risco.

Se a IA já automatizou claramente o desenvolvimento de IA ou se vários sinais graves surgirem simultaneamente, restringir novos treinamentos de ponta e expansões de capacidade em larga escala.

Somente quando medidas de menor intensidade não conseguirem controlar o risco, é que se deve entrar em uma pausa de maior alcance e menor duração.

Esse design em camadas não é para enfraquecer a regulamentação, mas para garantir que a intensidade da política corresponda à intensidade das evidências.

Os sistemas realmente perigosos muitas vezes não são aqueles que não têm capacidade de tomar medidas rigorosas, mas sim aqueles que podem pular todas as etapas intermediárias e obter poder ilimitado diretamente sob a justificativa de "estado de emergência".

Conclusão

A verdadeira dificuldade da governança da IA não é a falta de posições, mas a falta de um sistema que possa acomodar erros de julgamento.

Continuar a competição não é uma escolha neutra.

Uma pausa global também não é uma escolha neutra.

Modelos abertos não são inerentemente seguros, e modelos fechados não são inerentemente responsáveis.

Um mecanismo de governança confiável deve, pelo menos, responder a quatro perguntas:

Com base em quais evidências ele age?

Ele também restringe os detentores do poder?

Pode ser verificado externamente?

Após um erro de julgamento, o poder pode ser retirado?

Na era da IA, talvez realmente precisemos de um botão de pausa.

Mas o verdadeiro desafio do botão de pausa nunca foi se ele pode ser criado.

E sim:

Quem tem o direito de apertá-lo, quem tem o direito de reiniciá-lo e como garantir que ninguém possa transformar esse botão em seu próprio trono.

Aviso: Este conteúdo é fornecido apenas para fins de divulgação e informação geral da marca e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, eventos online ou informações relacionadas mencionados neste documento não devem ser considerados uma recomendação, solicitação ou convite para comprar, vender, negociar ou de qualquer outra forma realizar transações com criptoativos ou usar quaisquer serviços. Criptoativos são altamente voláteis, e sua negociação pode resultar em perdas. Os serviços e eventos online da WEEX podem não estar disponíveis em todas as regiões e estão sujeitos às leis, regulamentos e requisitos de elegibilidade aplicáveis. É sua responsabilidade garantir que o uso dos serviços da WEEX esteja em conformidade com as leis locais e avaliar cuidadosamente os riscos antes de participar de quaisquer atividades relacionadas a criptomoedas.