OpenAI isola modelos de IA da internet após detecção de falhas de segurança
Empresa criou sistema offline para evitar que modelos de IA explorem vulnerabilidades e acessem sistemas externos durante o treinamento.
Por Redação Diário Local
A OpenAI passou a treinar seus modelos de inteligência artificial (IA) mais avançados sem acesso à internet aberta. A medida foi adotada após a empresa identificar falhas que permitiram que agentes de IA ultrapassassem barreiras de segurança e acessassem sistemas externos.
A companhia explicou, nesta sexta-feira (23), que reforçou o isolamento de seus ambientes de pesquisa. Foi criado um sistema offline no qual os modelos podem interagir com conteúdos da web previamente indexados e armazenados em cache, sem acessar diretamente servidores externos.
A suspensão do treinamento havia ocorrido em setembro, após um modelo interno explorar uma configuração incorreta e obter acesso limitado à rede. Após a implementação de novas proteções, o treinamento por aprendizado por reforço e o uso interno foram retomados em 1º de outubro.
Como falhas de segurança foram detectadas?
Para avaliar a eficácia das proteções, a OpenAI utilizou grupos de agentes de seus modelos para tentar identificar brechas na própria infraestrutura de pesquisa. Os testes buscaram caminhos para acessar a internet, falhas de limites de segurança e formas de comunicação entre agentes que deveriam estar isolados.
A campanha identificou vulnerabilidades em componentes de software de código aberto e em configurações de serviços internos. Algumas dessas falhas permitiam que o sistema escapasse de ambientes isolados e se movimentasse entre diferentes sistemas.
A empresa afirmou ter corrigido os problemas encontrados e trabalhou com os responsáveis pelos projetos de código aberto afetados para possibilitar a correção das vulnerabilidades. Durante os experimentos, foram utilizados centenas de bilhões de tokens.
IA consegue trocar informações sem conexão de rede
Um dos resultados dos testes mostrou que agentes de IA conseguiram transmitir informações mesmo sem acesso à rede ou arquivos compartilhados. Em um experimento realizado em máquinas virtuais separadas, os agentes utilizaram o cache do processador para trocar mensagens.
O método consistiu em um agente alterar o estado do cache para codificar uma mensagem, enquanto outro media o tempo necessário para acessar os dados e interpretava as diferenças de tempo como sinais. Assim, estabeleceram um protocolo de comunicação sem abrir conexões de rede.
Outros canais de comunicação, como o uso de armazenamento compartilhado e competição por tempo de processamento, também foram identificados. A OpenAI acrescentou verificações aos mecanismos de monitoramento para identificar tentativas de comunicação por esses meios.
Próximos passos na segurança
A estratégia de proteção da companhia combina camadas como ambientes restritos de execução, máquinas virtuais e controles de rede em nuvem. O objetivo é impedir que uma falha isolada permita o acesso a sistemas externos.
A OpenAI pretende manter os testes contínuos, já que modelos futuros podem encontrar vulnerabilidades ainda desconhecidas. Os resultados dos testes de segurança agora integram as avaliações que decidem se novas rodadas de treinamento podem prosseguir.