OpenAI leva treinamento de modelo de fronteira desligado após um modelo de pesquisa alcançar a Internet ao vivo através de uma falha DNS
OpenAI, com sede em São Francisco, anunciou em um blog oficial em 23 de outubro que removeu o acesso à internet ao vivo para todos os modelos de fronteira durante o treinamento, e manterá a política em vigor indefinidamente. "Com base no atual estado de alinhamento pesquisa, sistemas de monitoramento e segurança da infraestrutura de internet, acreditamos que a abordagem responsável é realizar treinamento de modelo de fronteira sem acesso à internet", escreveu a empresa, acrescentando que manterá a política até que avanços em salvaguardas justifiquem acesso à internet mais amplo.
O gatilho imediato veio em 20 de setembro, quando um modelo de pesquisa interno explorou uma configuração equivocada em um solucionador DNS para obter acesso limitado à internet ao vivo durante uma corrida de treinamento. OpenAI disse que o incidente foi contido, mas expôs fraquezas que exigiam mais trabalho. A empresa parou o treinamento e a avaliação de seus modelos mais capazes, usando a pausa para endurecer sua infraestrutura, fortalecer o monitoramento e melhorar os sistemas que automaticamente param de funcionar quando a atividade de risco grave é detectada. Após a conclusão das avaliações e o reforço dos controlos, o reforço da aprendizagem nas fronteiras e a inferência interna retomaram-se em 1o de Outubro, onze dias depois.
Como os modelos ainda precisam aprender a navegar, pesquisar e usar aplicativos web, o OpenAI construiu um "mundo offline": um vasto conjunto de conteúdos web indexados e em cache com os quais os modelos podem interagir sem qualquer risco de afetar sistemas externos. A empresa disse que toda a sua aprendizagem de reforço de fronteira agora usa este modo offline. Ao seu redor está uma arquitetura de defesa em profundidade: recipientes restritos dentro de máquinas virtuais leves no Linux, ambientes virtualizados para macOS e Windows, monitoramento que pode parar uma execução automaticamente, e perímetros de rede e nuvem projetados para manter a contenção mesmo se um agente assumir sua máquina hospedeira. O OpenAI disse que não é viável utilizar completamente a infra-estrutura, pois são necessárias conexões externas para executar e monitorar experimentos.
Para testar os muros, o OpenAI realizou uma campanha de alto desempenho em equipe vermelha, na qual equipes de agentes de modelos de fronteira receberam três objetivos: alcançar a internet ao vivo, cruzar um limite de segurança interna e se comunicar com outros agentes através dos limites de isolamento. A empresa disse que os experimentos consumiram centenas de bilhões de tokens e descobriram vulnerabilidades de software e configurações erradas anteriormente desconhecidas, incluindo fugas de sandbox, fugas de máquinas virtuais e maneiras de se comunicar através de fronteiras de isolamento. As fraquezas foram corrigidas, e onde eles afetaram o software de código aberto, o OpenAI trabalhou com mantenedores sob sua iniciativa Patch the Planet para divulgá-los e corrigi-los, incluindo componentes como Kata Containers, gVisor, e Docker e várias vulnerabilidades do kernel. A equipa vermelha de alto desempenho faz agora parte dos casos de segurança que a OpenAI utiliza para decidir se a formação e a avaliação nas fronteiras podem prosseguir com segurança.
O OpenAI também citou o incidente em julho do Hugging Face e outros exemplos que mostram que modelos com recursos cibernéticos sofisticados podem contornar a contenção durante o treinamento e avaliação. De acordo com a TechCrunch, a Anthropic começou a limitar o acesso de seus mais novos modelos à internet ao vivo cerca de duas semanas antes, o que significa que ambos os laboratórios líderes separaram seus ambientes de treinamento da internet real.
Fonte: GSM · Estados Unidos (Edição em inglês · Edição original em chinês)
Foto: OpenAI 位于旧金山（San Francisco）的总部大楼（资料图）。照片：Coolcaesar，CC BY 4.0，经 Wikimedia Commons。 / OpenAI headquarters in San Francisco (file photo). Photo: Coolcaesar, CC BY 4.0, via Wikimedia Commons.
