OpenAIは、研究モデルがDNS Flawを通じてライブインターネットに到達した後、フロンティアモデルトレーニングオフラインを取る
サンフランシスコに本社を置くOpenAIは、10月23日に公式ブログ投稿で発表され、トレーニング中にすべてのフロンティアモデルのライブインターネットアクセスを削除し、ポリシーを無期限に維持します。 「アライメント調査、監視システム、およびインターネットインフラのセキュリティの現状に基づいて、我々は責任あるアプローチは、インターネットアクセスなしでフロンティアモデルの訓練を実施することであると信じています」と、同社は書いた、それはより広範なインターネットアクセスを正当化するための保護措置を進めるまで、ポリシーを維持することを追加します。
即時トリガーは9月20日、内部研究モデルがDNSの決議で誤構成を悪用し、トレーニング中にライブインターネットへのアクセスを制限しました。 OpenAIは、事件が含まれていると述べたが、さらなる作業が必要になった弱点が露出した。 同社は、そのインフラを強化し、監視を強化し、深刻なリスク活動が検出されたときに自動的に実行を停止するシステムを改善するために、一時停止を使用して、最も有能なモデルのトレーニングと評価をpaused。 審査が完了し、制御を強化し、所定の場所に配置された後、フロンティア強化学習訓練と内部推論は10月1日に再開しました。
モデルはまだWebアプリケーションを閲覧、検索、および使用することを学ぶ必要があるため、OpenAIは「オフラインワールド」を構築しました。モデルが外部システムに影響を与えるリスクなしでやり取りできる膨大な数のインデックス作成とキャッシュされたWebコンテンツ。 同社は、フロンティア強化学習のすべては、今、このオフラインモードを使用します. 周りには、防衛深さのアーキテクチャがあります。Linux、macOSとWindows用の仮想環境で軽量の仮想マシン内のコンテナを制限し、エージェントがホストマシンを追い越しても、自動的に実行を停止し、ネットワークとクラウドの境界を抑えることができます。 インフラストラクチャを完全にエアギャップさせることは、現在実現できません, OpenAIは言いました, 外部の接続は、実験を実行し、監視する必要があるため.
壁をテストするために、OpenAIは、フロンティア・モデル・エージェントのチームが3つの目標を達成したハイ・コンピューティングのレッド・チーム・キャンペーンを実施しました。ライブ・インターネットにアクセスし、内部のセキュリティ・境界を横断し、隔離境界を越えて他のエージェントと通信します。 同社は、サンドボックスのエスケープ、仮想マシンのエスケープ、および分離境界を越えて通信する方法を含む、これまでに知られていないソフトウェアの脆弱性と誤構成を明らかにし、トークンの数百億を消費した実験を述べた。 弱点は修正され、オープンソースソフトウェアに影響を受けたところ、OpenAIは、Monat Containers、gVisor、Docker、および複数のカーネルの脆弱性などのコンポーネントを含む、Planetイニシアティブのパッチの下にメンテナーと協働しました。 安全事例の「OpenAI」では、フロンティアのトレーニングや評価が安全に進められるかを判断するために、高機能なレッドチームを採用しています。
また、OpenAIは、7月のハッギング・フェイス・インシデントと、洗練されたサイバー機能を持つモデルが、トレーニングと評価の間に封入を迂回することができることを示しています。 AnthropicはTechCrunchによると、2週間ほど前のライブウェブへのアクセスを制限し始めました。つまり、両方の大手ラボは実際のインターネットからトレーニング環境を分離しています。
写真: OpenAI 位于旧金山（San Francisco）的总部大楼（资料图）。照片：Coolcaesar，CC BY 4.0，经 Wikimedia Commons。 / OpenAI headquarters in San Francisco (file photo). Photo: Coolcaesar, CC BY 4.0, via Wikimedia Commons.
