O presidente e CEO da Microsoft, Satya Nadella, afirmou em 10 de outubro que os sistemas de inteligência artificial avançada devem incluir mecanismos de proteção para os isolar, controlos independentes e um “travão de emergência” que permita a pessoas autorizadas pausar ou desligar um modelo durante a sua operação. A proposta amplia o debate sobre segurança em IA para lá do desenho dos modelos, abrangendo controlos operacionais e auditorias — fatores com impacto na forma como as empresas gerem interrupções e o risco de comportamentos imprevisíveis.
Nadella quer controlos para modelos não determinísticos
Numa publicação na rede X, Nadella defendeu que os modelos não determinísticos devem ser integrados em sistemas robustos de desenho determinístico, com supervisão humana e procedimentos operacionais fiáveis. Quando as normas existentes não forem suficientes, a indústria deverá criar novas regras, afirmou. O executivo sugeriu ainda que tanto os modelos de fronteira de código fechado como os modelos de pesos abertos sejam tratados como “riscos internos” na definição dos mecanismos de proteção.
Entre os princípios propostos estão a capacidade de observar os sistemas, a utilização de modelos diversos e a manutenção de registos legíveis por humanos sobre as ações dos modelos. Nadella defendeu também testes contínuos, controlos e auditorias independentes, medidas de isolamento e planos para divulgar incidentes. Para empresas e investidores, estas exigências podem afetar os custos de implementação, a responsabilização operacional e a forma de lidar com potenciais perdas — e não apenas o desempenho dos modelos.
“Os sistemas de superinteligência mais fiáveis não serão aqueles que dependem de um único modelo em que todos confiam mais”, escreveu Nadella. Na sua perspetiva, as pessoas devem poder confiar no sistema como um todo, mantendo ao mesmo tempo uma atitude cautelosa em relação ao próprio modelo.
Líderes tecnológicos dividem-se sobre velocidade e segurança
Os comentários de Nadella surgem num debate persistente na indústria tecnológica sobre a segurança da IA. O cofundador da Microsoft, Bill Gates, o CEO da Anthropic, Dario Amodei, o CEO da OpenAI, Sam Altman, e o CEO da SpaceX, Elon Musk, já manifestaram preocupações com a insuficiência dos mecanismos de proteção ou com o ritmo do desenvolvimento tecnológico.
No mês passado, um investigador de IA deixou a Anthropic e acusou a empresa e a sua rival OpenAI de colocarem vidas humanas em risco. No mesmo dia, um responsável da Anthropic pela área de alinhamento, dedicado à segurança da IA, afirmou que existia uma probabilidade superior a 10% de a tecnologia provocar a “extinção da humanidade” na próxima década. Estas declarações refletem a preocupação da indústria com riscos extremos, mas também colocam sob escrutínio a avaliação de riscos, a governação e as declarações públicas das empresas.
Política dos EUA dá prioridade à concorrência com a China
O Presidente dos EUA, Donald Trump, tem desvalorizado repetidamente o risco de a IA conduzir à extinção da humanidade, sublinhando antes a necessidade de os Estados Unidos manterem a liderança face à China. Trump anunciou recentemente uma nova “AI Force”, liderada pelo diretor nacional de informações, Jay Clayton, com um mandato que inclui promover o desenvolvimento da indústria e identificar intervenientes mal-intencionados.
O debate tem, assim, duas frentes: executivos e investigadores defendem controlos de segurança mais rigorosos, e alguns pedem um ritmo mais lento para o desenvolvimento de sistemas de fronteira; ao mesmo tempo, o Governo dos EUA coloca a competitividade no centro da política e criou também uma iniciativa ligada à segurança. As propostas de Nadella sobre intervenção humana, isolamento, auditorias e divulgação de incidentes respondem à questão prática de como manter a capacidade de intervenção das pessoas à medida que a IA continua a ser desenvolvida e implementada.