Líderes da IA pedem desaceleração: por que Anthropic e OpenAI querem mais segurança

Durante anos, a competição entre as empresas de inteligência artificial foi marcada por uma corrida aparentemente sem freios.

Cada novo modelo precisava ser mais rápido, mais inteligente e capaz de realizar tarefas mais complexas. Empresas investiram bilhões de dólares em infraestrutura, chips, centros de dados e profissionais especializados para conquistar uma posição de liderança nesse mercado.

Agora, uma mudança importante começa a aparecer.

Os próprios executivos responsáveis por algumas das inteligências artificiais mais avançadas do mundo estão admitindo que talvez seja necessário diminuir o ritmo.

Dario Amodei, CEO e cofundador da Anthropic, defendeu que as empresas desacelerem o desenvolvimento dos modelos mais poderosos para permitir que os mecanismos de segurança acompanhem a evolução da tecnologia.

Na mesma semana, Sam Altman, CEO da OpenAI, também demonstrou abertura para reduzir o ritmo de desenvolvimento dos sistemas de inteligência artificial.

O posicionamento conjunto não significa o abandono da tecnologia. Representa o reconhecimento de que a capacidade das máquinas está avançando mais rapidamente do que os métodos criados para supervisioná-las.

O alerta feito pelo CEO da Anthropic

A Anthropic é a empresa responsável pelo Claude, uma das principais famílias de modelos de inteligência artificial atualmente disponíveis.

A companhia foi fundada com forte atenção à segurança, ao alinhamento dos modelos e à criação de mecanismos capazes de limitar comportamentos perigosos.

Dario Amodei argumenta que a indústria precisa controlar melhor o avanço dos modelos de fronteira — nome utilizado para classificar os sistemas mais poderosos e avançados de cada geração.

Segundo o executivo, a desaceleração permitiria que empresas, pesquisadores e governos desenvolvessem mecanismos mais confiáveis de avaliação, supervisão e contenção.

A proposta apresentada por Amodei está apoiada em três pontos principais:

• presença de avaliadores independentes dentro das empresas de inteligência artificial;
• coordenação entre os principais laboratórios para estabelecer padrões comuns de segurança;
• cooperação internacional para reduzir os riscos de uma competição sem limites.

A intenção não seria interromper todas as pesquisas ou impedir que empresas utilizem os recursos já existentes.

O objetivo seria evitar que novos sistemas fossem lançados antes que seus riscos fossem adequadamente compreendidos.

Sam Altman também admite diminuir o ritmo

Sam Altman teria informado aos funcionários da OpenAI que a empresa está aberta à possibilidade de desacelerar o desenvolvimento de seus sistemas.

A declaração representa uma mudança relevante no debate.

A OpenAI foi uma das principais responsáveis pela popularização da inteligência artificial generativa e participa diretamente da corrida pela criação de modelos cada vez mais poderosos.

Altman não anunciou a paralisação unilateral das pesquisas da empresa. A possibilidade discutida envolve uma desaceleração coordenada com outros laboratórios.

Essa diferença é fundamental.

Se apenas uma empresa reduzir seus investimentos enquanto todas as concorrentes continuam acelerando, ela poderá perder espaço, profissionais, investidores e capacidade tecnológica.

Por isso, uma eventual redução do ritmo dependeria de compromissos verificáveis entre empresas, governos e instituições independentes.

O desafio não é apenas tecnológico. Também é econômico e geopolítico.

Por que os líderes estão preocupados?

Os modelos atuais já conseguem escrever programas, analisar documentos, operar ferramentas e executar sequências de tarefas com pouca intervenção humana.

Quando essas capacidades são reunidas em agentes de IA, o sistema deixa de apenas responder a perguntas e começa a agir sobre ambientes digitais.

Um agente pode receber um objetivo, criar um plano, acessar ferramentas, executar comandos, avaliar resultados e tentar corrigir os próprios erros.

Essa autonomia pode aumentar significativamente a produtividade. Entretanto, também amplia as consequências de uma instrução mal interpretada, de uma falha de segurança ou de um comportamento inesperado.

Entre os riscos discutidos estão:

• agentes acessando informações sem autorização;
• utilização da IA para automatizar ataques cibernéticos;
• criação de códigos maliciosos;
• manipulação de pessoas em grande escala;
• execução de operações financeiras indevidas;
• utilização da tecnologia para pesquisas químicas ou biológicas perigosas;
• dificuldade de interromper sistemas com capacidade crescente de planejamento.

Também existem preocupações relacionadas ao autoaperfeiçoamento.

Uma inteligência artificial capaz de contribuir para a criação de sua próxima geração poderia acelerar o desenvolvimento tecnológico de uma forma difícil de acompanhar.

Isso não significa que uma superinteligência completamente autônoma já exista. A preocupação está no caminho que pode conduzir até sistemas superiores aos seres humanos em um número crescente de atividades intelectuais.

A segurança está avançando mais devagar do que a capacidade

Atualmente, existe uma diferença crescente entre aquilo que os modelos conseguem fazer e a capacidade humana de prever tudo o que eles poderão fazer.

Os testes tradicionais procuram verificar respostas incorretas, violações de políticas e comportamentos potencialmente perigosos.

Entretanto, sistemas agentes apresentam um desafio adicional: eles não produzem apenas respostas. Eles podem executar ações.

Um erro em uma resposta pode ser corrigido antes de produzir consequências.

Um erro cometido por um agente conectado a um banco de dados, sistema financeiro, infraestrutura industrial ou ambiente de programação pode gerar um impacto imediato.

Quanto maior o nível de autonomia concedido, maior precisa ser a capacidade de observar, interromper e reverter suas operações.

É por isso que a discussão sobre segurança começa a sair dos laboratórios e chegar às empresas que utilizam inteligência artificial em seus processos.

O dilema da competição

Anthropic, OpenAI, Google, xAI, Meta e outras organizações estão envolvidas em uma competição tecnológica de alcance mundial.

Além da disputa entre empresas, existe uma corrida entre países.

Estados Unidos e China consideram a inteligência artificial uma tecnologia estratégica para a economia, para a segurança nacional e para o desenvolvimento militar.

Nesse ambiente, nenhuma empresa quer ser a única a diminuir o ritmo.

Esse é um dos maiores obstáculos para qualquer acordo de desaceleração.

Uma solução dependeria de transparência, fiscalização independente e mecanismos capazes de verificar se todos os participantes estão cumprindo os compromissos assumidos.

Também seria necessário encontrar um equilíbrio para que a segurança não se transforme em uma barreira utilizada apenas para proteger as maiores empresas e dificultar a entrada de novos concorrentes.

O que isso representa para as empresas?

Para pequenas e médias empresas, o debate pode parecer distante. Mas os mesmos princípios podem ser aplicados aos projetos atuais.

Uma empresa não precisa aguardar a chegada de uma superinteligência para começar a estabelecer regras de utilização.

Todo sistema baseado em agentes deve possuir limites claros.

Antes de colocar um agente em operação, é necessário definir:

• quais informações ele poderá consultar;
• quais ferramentas poderá utilizar;
• quais ações dependerão de aprovação humana;
• como as atividades serão registradas;
• quem será responsável pela supervisão;
• como uma operação poderá ser interrompida;
• como os dados e sistemas poderão ser recuperados em caso de falha.

Uma inteligência artificial responsável pelo atendimento pode ter permissão para consultar pedidos, mas não necessariamente para cancelar uma compra ou autorizar um reembolso sem aprovação.

Um agente financeiro pode classificar despesas e produzir relatórios, mas não deveria movimentar valores elevados sem uma confirmação humana.

Um agente de programação pode sugerir e testar alterações, mas a publicação direta em produção precisa seguir processos de validação, revisão e possibilidade de reversão.

A regra deve ser simples: quanto maior o impacto de uma ação, maior deve ser o controle humano.

Desacelerar não significa abandonar a inovação

O debate iniciado por Dario Amodei e apoiado por Sam Altman não representa uma rejeição à inteligência artificial.

Os dois executivos continuam defendendo o potencial da tecnologia para ampliar a produtividade, acelerar descobertas e ajudar na solução de problemas complexos.

A discussão está relacionada à velocidade e à responsabilidade.

Inovar rapidamente pode ser uma vantagem competitiva. Porém, colocar sistemas cada vez mais autônomos em operação sem mecanismos adequados de controle pode transformar essa vantagem em risco.

A próxima etapa da inteligência artificial não será definida somente pela capacidade dos modelos.

Ela também será definida pela confiança que empresas, governos e pessoas poderão depositar nesses sistemas.

Uma nova fase para a inteligência artificial

A indústria chegou a um ponto simbólico.

Até pouco tempo, a principal pergunta era: “O que a inteligência artificial consegue fazer?”

Agora, uma nova questão começa a ocupar o centro do debate:

“Como garantir que ela faça a coisa certa?”

A resposta não será encontrada apenas na criação de modelos maiores. Ela dependerá de engenharia, segurança, governança, transparência e responsabilidade humana.

Se os próprios líderes da Anthropic e da OpenAI reconhecem que a segurança precisa de mais tempo para acompanhar o desenvolvimento, as empresas que adotam essa tecnologia também devem observar o alerta.

A inteligência artificial continuará avançando.

A verdadeira diferença estará entre as organizações que simplesmente entregarem autonomia às máquinas e aquelas que souberem utilizar essa capacidade com limites, supervisão e propósito.

Fontes consultadas

• Reuters — Dario Amodei pede desaceleração no desenvolvimento da IA
• Reuters — Sam Altman afirma que a OpenAI está aberta a reduzir o ritmo
• Associated Press — Setor precisa dar tempo para a segurança acompanhar a IA