OpenAI는 Frontier Model Training Offline을 연구 모델이 DNS 결함을 통해 라이브 인터넷에 도달 한 후
OpenAI, 샌프란시스코에 본사를 둔, 10 월 23 일 공식 블로그 게시물에 발표 그것은 훈련 중 모든 국경 모델에 대한 라이브 인터넷 액세스를 제거하고 무한하게 장소에 정책을 유지할 것입니다. "정상 연구, 모니터링 시스템 및 인터넷 인프라의 보안의 현재 상태에 기반, 우리는 책임있는 접근은 인터넷 액세스없이 frontier 모델 교육을 수행 할 것이라고 믿는다"이 회사는 썼다, 그것을 추가하는 것이 정책은 더 넓은 인터넷 액세스를 차단할 때까지.
즉각적인 방아쇠가 9 월 20 일에 왔을 때 내부 연구 모델이 훈련 실행 중에 라이브 인터넷에 제한된 액세스를 얻기 위해 DNS 결의를 악화했다. OpenAI는 사건이 포함되었지만 더 많은 일을 요구하는 약점을 드러냈습니다. 이 회사는 가장 가능한 모델의 교육 및 평가를 받아 인프라를 강화하고 모니터링을 강화하고 심각한 위험 활동이 감지 될 때 자동으로 실행되는 시스템을 개선합니다. 평가가 완료되고 강화 된 통제가 장소에 넣은 후에, 국경 학습 훈련 및 내부 inference는 10월 1일, 11일 후에 재개했습니다.
모델은 여전히 검색, 검색 및 웹 응용 프로그램을 사용하여 학습해야합니다, OpenAI는 "오프라인 세계를 구축": 모델이 외부 시스템에 영향을 미치는 위험없이 상호 작용 할 수있는 색인 및 캐시 웹 콘텐츠의 광대 한 세트. 회사는 frontier reinforcement 학습의 모든 것이 이제이 오프라인 모드를 사용합니다. 그것은 방어 심층 아키텍처를 앉아 : 리눅스의 경량 가상 기계 내부의 제한 컨테이너, macOS 및 Windows 용 가상 환경, 실행을 자동으로 중지 할 수있는 모니터링, 네트워크 및 클라우드 주변계는 호스트 기계에 소요 경우에도 포함을 보유하도록 설계되었습니다. 현재 인프라를 완전히 공기 처리하는 것은 불가능하지 않습니다. OpenAI는 외부 연결이 실행 및 모니터링을 필요로하기 때문에 말했다.
벽을 테스트하기 위해, OpenAI는 프론트ier-model 에이전트의 팀에 높은 명성의 적색 캠페인을 부여했다 세 가지 목표를 부여했다 : 라이브 인터넷에 도달, 내부 보안 경계를 건너, 고립 경계를 통해 다른 에이전트와 통신. 이 회사는 실험은 수십억 개의 토큰을 소비했으며 이전에 알려지지 않은 소프트웨어 취약점과 샌드박스 탈출, 가상 머신 탈출 및 고립 경계를 가로지르는 방법을 포함하여 구성 요소가 발견되었습니다. OpenAI는 오픈 소스 소프트웨어에 영향을 미치며, OpenAI는 Kata Containers, gVisor 및 Docker 및 여러 커널 취약점과 같은 구성 요소를 포함하여 행성 이니셔티브를 공개하고 수정하기 위해 유지자들과 함께 일했습니다. High-compute Red-teaming은 이제 안전 케이스의 일부입니다 OpenAI는 프론트어 교육 및 평가가 안전하게 진행될 수 있는지 결정하기 위해 사용합니다.
OpenAI는 또한 7 월 Hugging 얼굴 사건과 정교한 사이버 기능으로 모델이 교육 및 평가 중 포함을 우회 할 수 있음을 보여주는 다른 예를 인용했습니다. TechCrunch에 따르면 Anthropic은 2 주 전에 라이브 웹에 대한 최신 모델의 액세스를 제한하기 시작했으며, 선도적 인 실험실 모두는 이제 실제 인터넷에서 훈련 환경을 분리했습니다.
사진: OpenAI 位于旧金山（San Francisco）的总部大楼（资料图）。照片：Coolcaesar，CC BY 4.0，经 Wikimedia Commons。 / OpenAI headquarters in San Francisco (file photo). Photo: Coolcaesar, CC BY 4.0, via Wikimedia Commons.
