OpenAI Takes Frontier Model Training Offline Після дослідницької моделі Reached the Live Internet через DNS Flaw
OpenAI, штаб-квартира в Сан-Франциско, оголошена в офіційному блозі повідомлення 23 жовтня, що він видаляє доступ до Інтернету для всіх моделей Frontier під час тренінгу, і буде зберігати політику в місці невизначено. «Зроблено в поточному стані вирівнювальних досліджень, систем моніторингу та безпеки інтернет-інфраструктури, ми вважаємо, що відповідальний підхід полягає в тому, щоб провести передову модельну підготовку без доступу до інтернету», - написав компанія, додавши, що вона буде підтримувати політику до просування в безпечних захистах, виправдати більш широкий доступ до Інтернету.
У 20 вересня, коли внутрішня дослідницька модель експлуатувала конфігурацію DNS-рішення, щоб отримати обмежений доступ до живого інтернету під час тренувань. OpenAI сказав, що інцидент був включений, але під впливом слабких сторін, які вимагають подальшої роботи. Компанія здійснила навчання та оцінку своїх найбільш здатних моделей, використовуючи паузу для загартування її інфраструктури, посилення моніторингу та вдосконалення систем, які автоматично зупиняються при виявленні серйозної активності. Після оцінки були завершені та розширені контрольи, що надягаються на місці, навчання переднього армування та внутрішня інформатика відновили 1 жовтня, через одинадцять днів.
Оскільки моделі все ще повинні вчитися на перегляді, пошуку та використання веб-додатків, OpenAI побудував "офлайн світ": великий набір індексованого та кешованого веб-контенту, що моделі можуть взаємодіяти без ризику впливу зовнішніх систем. Компанія сказала, що всі її передніми арматурними навчаннями тепер використовують цей автономний режим. Навколо він сидить оборонно-глибиною архітектурою: обмежуються контейнери всередині легковагих віртуальних машин на Linux, віртуалізовані середовища для macOS і Windows, моніторинг, який може зупинити курс автоматично, а мережа і хмарні периметри, призначені для утримання, навіть якщо агент бере на себе машину. Повністю повітряно-інформаційна інфраструктура не в даний час псується, OpenAI сказав, що зовнішні з'єднання необхідні для запуску та моніторингу експериментів.
Щоб перевірити стіни, OpenAI виграла висококомпонентну червоно-паражуючу кампанію, в якій команди передових агентів дали три завдання: досягти живого інтернету, перехресити внутрішню межу безпеки і спілкуватися з іншими агентами по всій території ізоляції. Компанія заявила, що експерименти споживали сотні мільярдів токени і відкривають раніше невідомі вразливості програмного забезпечення та настроювання, в тому числі пісочниці втечу, віртуальна машина втечу, і способи зв'язку через кордони ізоляції. Слабки були відновлені, і де вони постраждали від відкритого програмного забезпечення, OpenAI працював з прихильниками під його патчем ініціатива планети для розкриття та виправлення їх, включаючи компоненти, такі як Kata Containers, gVisor і Docker і декількох вразливостей ядра. Для того, щоб вирішити, чи може бути пов'язаний навчання і оцінка.
OpenAI також цитував липовий інцидент на обличчі та інші приклади, що показують, що моделі з витонченими можливостями кіберу можуть обходитися під час тренувань та оцінки. За словами TechCrunch, Anthropic почав обмежувати доступ до своїх новітніх моделей до живого веб-сайту приблизно через два тижні раніше, значення як провідних лабораторій тепер відокремили свої навчальні умови з реального інтернету.
Джерело: GSM · Сполучені Штати (Англійське видання · Оригінальне китайське видання)
Фото: OpenAI 位于旧金山（San Francisco）的总部大楼（资料图）。照片：Coolcaesar，CC BY 4.0，经 Wikimedia Commons。 / OpenAI headquarters in San Francisco (file photo). Photo: Coolcaesar, CC BY 4.0, via Wikimedia Commons.
