Agentes de IA como funcionários: quem assume a responsabilidade em caso de problemas?

Funcionários digitais em ação, a responsabilidade se torna um mistério.

Escrito por: Forbes

Traduzido por: AididiaoJP, Foresight News

De acordo com uma pesquisa da Anthropic, 57% das organizações já implementaram agentes de IA para gerenciar fluxos de trabalho em várias etapas, e 81% das empresas planejam usá-los para tarefas mais complexas até 2026. Ao mesmo tempo, muitas empresas ainda estão tentando descobrir como gerenciar esses agentes de forma eficaz: uma pesquisa da Cloud Security Alliance revelou que 82% das empresas entrevistadas encontraram pelo menos um agente de IA ou fluxo de trabalho autônomo que suas equipes de segurança ou TI desconheciam completamente.

Por trás da rápida adoção, está uma mudança fundamental na percepção das empresas sobre a inteligência artificial. Os agentes não se limitam mais a redigir textos, realizar pesquisas e conversas básicas; eles agora estão diretamente envolvidos em diálogos com clientes, bancos de dados internos e operações diárias. Eles podem agendar compromissos, atualizar registros, filtrar leads e realizar tarefas que antes eram responsabilidade dos funcionários.

Essa mudança está impulsionando uma discussão mais ampla: como as empresas devem gerenciar os agentes de IA como uma nova força de trabalho digital. Empresas de tecnologia como Microsoft e Okta estão desenvolvendo sistemas para dar aos agentes uma identidade independente, designar responsáveis e limitar suas permissões. O Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) também está estudando como os padrões existentes de identificação, autorização e auditoria podem ser aplicados aos agentes.

A Nextiva, uma empresa de comunicação empresarial, posiciona seu assistente de IA XBert diretamente como um "funcionário de IA". Esse agente pode atender chamadas e mensagens de clientes, agendar compromissos, filtrar leads e direcionar solicitações para os sistemas de negócios relevantes. As empresas podem definir o escopo de suas responsabilidades, decidir quando transferir para um humano e revisar todos os registros de interação.

Chamar um software de "funcionário" implica que ele pode representar a empresa, exercer poder em um escopo limitado e realizar trabalho em nome da empresa. No entanto, a empresa que o implementa ainda é responsável pelo que diz e faz.

"A confiança em agentes de IA é semelhante à confiança em funcionários: deve ser conquistada por meio de desempenho e deve ser verificável", disse Yaniv Masjedi, diretor de marketing da Nextiva, em uma entrevista. Ele acrescentou que os agentes devem deixar claro que são IA, explicar o que podem e não podem fazer, e sempre oferecer a opção de transferir para um humano.

"Nos bastidores, as empresas precisam ter a mesma rigorosidade que teriam com novos funcionários: definir permissões, registrar todas as operações e designar um humano responsável pelos resultados. A IA nunca possui os resultados; a empresa é a proprietária. O que o agente promete é a sua promessa."

Como gerenciar a nova força de trabalho digital

O nível de supervisão necessário para os agentes depende em grande parte do que eles podem fazer. Se eles apenas respondem a perguntas com base em um banco de dados de conhecimento aprovado, o risco é relativamente controlável; se eles podem acessar registros de clientes, enviar mensagens, emitir pontos ou modificar contas, um controle mais preciso é necessário.

As empresas devem gerenciar a identidade e as permissões de acesso dos agentes com a mesma cautela que fariam com funcionários humanos. As medidas de controle em torno dos agentes, na verdade, se tornam suas descrições de trabalho: quais sistemas eles podem acessar, quais ações podem executar e quais decisões ainda precisam de aprovação humana.

"Se um agente deve trabalhar como um funcionário, crie um 'arquivo de emprego' para ele: designe um responsável direto, defina o escopo do trabalho, configure credenciais de permissão que expiram, estabeleça por escrito os limites para transferências humanas e um processo completo de desligamento", escreveu Anupam Satyasheel, CEO da Occams Advisory e cofundador da Occams AI, em uma resposta.

"No último dia de um funcionário humano, seu crachá é desativado. A maioria das credenciais dos agentes, no entanto, não tem um 'último dia'." Ele acrescentou.

Uma pesquisa recente da Okta mostrou que a infraestrutura de gerenciamento básico ainda está em construção: apenas 47% dos executivos afirmaram que conseguem identificar todos os agentes em seu ambiente, 46% podem controlar o que esses agentes acessam e 45% podem autorizar suas ações específicas.

O desafio é: aplicar estrutura suficiente sem sufocar a flexibilidade dos próprios agentes.

"Os agentes são inerentemente flexíveis. Controlá-los demais é como pagar caro por um script; controlá-los de menos é como não ter governança nenhuma", disse Imran Siddique, diretor de plataforma da Opaque Systems, em uma resposta por escrito.

Ele acredita que os agentes devem ter uma identidade de máquina independente e uma lista clara de capacidades, em vez de um título de trabalho amplo ou herdar diretamente as permissões de um usuário humano.

"Esse agente só pode realizar esse conjunto de ações - sem permissões implícitas e sem permissões herdadas", disse ele.

Os cargos humanos muitas vezes vêm com expectativas informais e poderes tácitos. Os agentes de IA operam inteiramente por meio de permissões de acesso ao sistema: desde que a conta conectada permita uma determinada ação, eles podem executá-la, mesmo que a empresa nunca tenha pretendido conceder esse poder.

Estabelecendo confiança

Definir quem é responsável pelo agente é apenas uma parte da estrutura. As empresas também devem ser capazes de identificar o agente em si, limitar suas permissões e registrar completamente todas as suas operações.

A plataforma de verificação Sumsub lançou recentemente o framework "Conheça seu Agente" (Know Your Agent), que vincula agentes de IA a identidades humanas verificadas. "Vincular agentes de IA a identidades humanas verificadas é a base da responsabilização, mas isso pode não ser suficiente por si só", disse Ilya Brovin, diretor de crescimento da Sumsub, em uma resposta por escrito. As organizações devem ser capazes de esclarecer: quem é responsável por esse agente, o que ele está autorizado a fazer e o que realmente fez.

Isso requer uma identidade de máquina duradoura, permissões rigorosamente definidas, autenticação contínua e registros de atividades à prova de adulteração. "A confiança deve ser contínua, não uma ocorrência única", acrescentou Brovin.

Essa distinção reflete a diferença entre agentes e verificações de identidade únicas voltadas para usuários humanos. Uma pessoa pode ser verificada uma vez ao abrir uma conta ou acessar um serviço. Um agente, no entanto, pode operar continuamente, mover-se entre sistemas e executar novas ações horas ou até dias após a autorização inicial.

Os clientes devem saber claramente: qual empresa esse agente representa, que estão conversando com uma IA, o que ele pode processar e como entrar em contato com um humano em caso de decisões sensíveis ou significativas. As equipes internas também precisam de registros mais completos: quem autorizou esse agente, quais dados ele acessou, quais ações ele executou e se essas ações estavam dentro do escopo de aprovação.

A ascensão dos funcionários de IA exige que as empresas apliquem princípios de gerenciamento familiares - propriedade, descrição de trabalho, acesso limitado, supervisão e desligamento - a uma nova classe de "funcionários". À medida que os agentes se juntam à força de trabalho digital, aqueles que se beneficiarem mais serão aqueles que, ao mesmo tempo em que concedem maior autonomia, também definem limites e implementam responsabilidade.

Este conteúdo é fornecido apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, promoções online ou informações relacionadas mencionadas neste documento não devem ser consideradas uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar qualquer outra transação com criptoativos. Criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar conforme a região. É de sua responsabilidade garantir que sua participação esteja em conformidade com as leis e regulamentações locais aplicáveis.