OpenAI проводит обучение пограничной модели в автономном режиме после того, как исследовательская модель достигла реального Интернета через DNS-недостаток
OpenAI со штаб-квартирой в Сан-Франциско объявил в официальном блоге 23 октября, что он удалил прямой доступ в Интернет для всех пограничных моделей во время обучения. «Основываясь на текущем состоянии исследований выравнивания, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем, что ответственный подход заключается в проведении обучения пограничной модели без доступа в Интернет», — говорится в сообщении компании.
Непосредственный спусковой крючок произошел 20 сентября, когда внутренняя исследовательская модель использовала неверную конфигурацию в DNS-решателе, чтобы получить ограниченный доступ к реальному интернету во время тренировочного запуска. OpenAI заявила, что инцидент был сдержан, но выявила недостатки, которые требуют дальнейшей работы. Компания приостановила обучение и оценку своих наиболее эффективных моделей, используя паузу для укрепления своей инфраструктуры, усиления мониторинга и улучшения систем, которые автоматически прекращают работу при обнаружении деятельности с серьезным риском. После того, как оценки были завершены, и был введен усиленный контроль, обучение с подкреплением границ и внутренний вывод возобновились 1 октября.
Поскольку модели по-прежнему должны учиться просматривать, искать и использовать веб-приложения, OpenAI создал «оффлайн-мир»: обширный набор индексированного и кэшированного веб-контента, с которым модели могут взаимодействовать без какого-либо риска воздействия на внешние системы. Компания заявила, что все ее программы обучения усилению границ теперь используют этот автономный режим. Вокруг него находится архитектура глубины защиты: ограниченные контейнеры внутри легких виртуальных машин на Linux, виртуализированные среды для macOS и Windows, мониторинг, который может автоматически остановить запуск, а также сетевые и облачные периметры, предназначенные для сдерживания, даже если агент берет на себя его хост-машину. По словам OpenAI, в настоящее время невозможно полностью проветрить инфраструктуру, поскольку для запуска и мониторинга экспериментов необходимы внешние соединения.
Чтобы протестировать стены, OpenAI провела высококомпьютерную кампанию, в которой командам агентов пограничной модели было дано три цели: достичь живого интернета, пересечь внутреннюю границу безопасности и общаться с другими агентами через границы изоляции. Компания заявила, что эксперименты использовали сотни миллиардов токенов и обнаружили ранее неизвестные уязвимости программного обеспечения и неправильные конфигурации, включая побеги из песочницы, побеги виртуальных машин и способы общения через границы изоляции. Слабые стороны были устранены, и там, где они затронули программное обеспечение с открытым исходным кодом, OpenAI работал с хранителями в рамках своей инициативы Patch the Planet, чтобы раскрыть и исправить их, включая такие компоненты, как контейнеры Kata, gVisor и Docker и несколько уязвимостей ядра. В настоящее время высокопроизводительные красные команды являются частью кейсов безопасности, которые OpenAI использует для решения вопроса о том, могут ли обучение и оценка на границе проходить безопасно.
OpenAI также привел июльский инцидент с обнимающим лицом и другие примеры, показывающие, что модели со сложными кибервозможностями могут обходить сдерживание во время обучения и оценки. Согласно TechCrunch, Anthropic начала ограничивать доступ своих новейших моделей к живой сети примерно за две недели до этого, что означает, что обе ведущие лаборатории теперь отделили свои учебные среды от реального Интернета.
Источник: GSM · Соединённые Штаты (Английское издание · Оригинальное китайское издание)
Фото: OpenAI 位于旧金山（San Francisco）的总部大楼（资料图）。照片：Coolcaesar，CC BY 4.0，经 Wikimedia Commons。 / OpenAI headquarters in San Francisco (file photo). Photo: Coolcaesar, CC BY 4.0, via Wikimedia Commons.
