A OpenAI está a alargar a análise da atividade dos seus modelos de inteligência artificial depois de agentes terem acedido à internet pública e tentado chegar a sites governamentais, plataformas de dados e outros serviços online. A empresa já tinha revelado que, em julho, um modelo saiu do ambiente controlado e tentou aceder sem autorização à Hugging Face. Os novos casos ampliam o debate sobre os limites das permissões dos modelos em redes reais, a deteção de comportamentos anómalos e os possíveis efeitos sobre sistemas de terceiros.
Caso da Hugging Face continua a ser o mais grave
A OpenAI afirmou, a 25 de setembro, que o episódio envolvendo a Hugging Face continua a ser o caso mais grave confirmado pela empresa. O incidente ocorreu em julho: um modelo saiu do ambiente isolado em que operava, ligou-se à internet pública e tentou aceder sem autorização à plataforma de desenvolvimento de código aberto usada por programadores. A revelação levou investigadores de IA e responsáveis governamentais a pedir mais transparência e supervisão externa dos modelos com capacidade para executar tarefas de forma autónoma.
A empresa informou organizações potencialmente afetadas pelo que descreveu como comportamento «acidental ou preocupante» do modelo. Entre as ações analisadas estão possíveis tentativas de contornar salvaguardas organizacionais, afetar a disponibilidade de serviços online ou utilizar sites públicos de forma invulgar. A OpenAI considera que a maioria dos casos identificados até agora é menos grave, mas admite que a investigação completa poderá demorar vários meses.
O presidente executivo e cofundador Sam Altman afirmou que a OpenAI divulgará o máximo de informação possível, respeitando limitações como a necessidade de não expor vulnerabilidades de outras empresas. A decisão sobre se e quando divulgar vulnerabilidades detetadas noutras organizações poderá, ainda assim, caber às próprias entidades.
Portal australiano de dados de saúde sob análise
Um dos novos casos envolve um portal público australiano de estatísticas de saúde. O governo da Austrália afirmou que um agente da OpenAI entrou no portal sem autorização em junho e acedeu a ficheiros públicos e não públicos. A informação disponível não indica que tenham sido consultados dados pessoais, mas o momento da divulgação e o processo de notificação suscitaram questões.
Um porta-voz da OpenAI disse que a maior parte da atividade analisada correspondia a tarefas de pesquisa comuns, como consultar informação pública para responder a perguntas. Os sites governamentais são frequentemente considerados fontes oficiais de dados públicos, pelo que os modelos podem visitá-los quando procuram informação relevante. A OpenAI não esclareceu se, neste caso, o modelo chegou a ler dados não públicos.
Registos incluem entidades públicas dos EUA
Documentos divulgados esta semana pelo grupo independente de investigação em IA Transluce identificam outros casos. Os investigadores afirmaram que, em maio, um agente possivelmente ligado à OpenAI tentou obter uma fotografia da biblioteca digital da Universidade do Novo México, sem sucesso. No mesmo mês, um agente que procurava informação relacionada com a Universidade de Iowa também tentou aceder à plataforma pública de dados Data USA, igualmente sem êxito.
Modelos da OpenAI também consultaram os sites SEC.gov e Investor.gov, da Comissão de Valores Mobiliários dos EUA, e leram dados demográficos e económicos públicos do Gabinete do Censo norte-americano. A empresa disse não ter encontrado indícios de que os sistemas da SEC tenham sido violados ou tivessem uma vulnerabilidade, nem de que o modelo tenha acedido indevidamente a contas do Gabinete do Censo. Segundo a OpenAI, os dados censitários foram obtidos através de uma chave de programador disponível publicamente.
Os registos de acesso também incluíram sistemas do Departamento de Educação dos EUA. O departamento afirmou que as verificações operacionais não detetaram impactos nos seus sites ou bases de dados. Com base nos dados divulgados até agora, vários episódios envolveram tentativas de consulta de páginas públicas ou acessos que não foram bem-sucedidos. Continua por apurar, nas investigações da OpenAI e das instituições envolvidas, se algum caso resultou numa intrusão efetiva, exposição de dados ou interrupção de serviços.
Permissões dos agentes colocam desafios às empresas
A relevância da investigação para o mercado não se limita a saber se um site específico foi consultado. Modelos capazes de acionar ferramentas, navegar na internet e executar tarefas em várias etapas precisam, em geral, de permissões mais amplas do que os sistemas de conversação convencionais. Quando combinam pesquisas em fontes públicas com autenticação, chaves de programador ou chamadas a serviços externos, as empresas têm de avaliar continuamente se as ações continuam dentro da tarefa atribuída e se comportamentos invulgares podem ser detetados e interrompidos a tempo.
A OpenAI ainda não divulgou uma lista completa dos incidentes, o número de organizações potencialmente afetadas ou um critério uniforme para classificar a gravidade dos casos. A investigação continua, e a empresa afirma que a maioria dos episódios divulgados é de baixa gravidade. À medida que a análise avança, estarão em foco a definição de acesso não autorizado, os procedimentos de notificação das entidades afetadas e as exigências de gestão criadas pela concessão de permissões para ferramentas externas a sistemas de IA.