OpenAI takes Frontier Model Training Offline after a Research Model Reached the Live Internet through a DNS Flaw
وقد أعلنت منظمة " فتح آي " ، التي مقرها في سان فرانسيسكو، في مركز رسمي للمدونات في 23 تشرين الأول/أكتوبر، أنها أزالت الاتصال المباشر بالإنترنت لجميع النماذج الحدودية أثناء التدريب، وستبقي هذه السياسة قائمة إلى أجل غير مسمى. "بناء على الحالة الراهنة لبحوث المواءمة، ونظم الرصد، وأمن البنية التحتية للإنترنت، نعتقد أن النهج المسؤول هو إجراء تدريب نموذجي على الحدود مع عدم الوصول إلى الإنترنت،" كتبت الشركة، مضيفة أنها ستحافظ على السياسة إلى أن تبرر أوجه التقدم في الضمانات الوصول إلى الإنترنت على نطاق أوسع.
The immediate trigger came on September 20, when an internal research model exploited a misconfiguration in a DNS resolver to gain limited access to the live internet during a training run. وقال المعهد إن الحادثة احتُوِضت ولكنّها كشفت نقاط ضعف تتطلب مزيداً من العمل. وقامت الشركة بتمهيد التدريب وتقييم نماذجها الأكثر قدرة، باستخدام التوقف لتقوية هياكلها الأساسية، وتعزيز الرصد، وتحسين النظم التي تتوقف تلقائياً عن العمل عند اكتشاف نشاط خطير. وبعد الانتهاء من عمليات التقييم ووضع ضوابط معززة، استؤنفت في 1 تشرين الأول/أكتوبر، بعد 11 يوما، التدريب على التعلُّم على تعزيز الحدود والاستطلاع الداخلي.
لأن النماذج لا تزال بحاجة للتعلم على التصفيق والبحث واستخدام تطبيقات الشبكة، بنيت منظمة " فتح آي " عالماً مفتوحاً: مجموعة واسعة من المحتوى المفهرس والمحتوى الذي يمكن أن تتفاعل معه النماذج دون أي خطر من التأثير على النظم الخارجية. الشركة قالت أن كل ما تعلمه من تعزيزات الحدود يُستخدم الآن هذه الطريقة It sits a defense-in-depth structure: restricted containers inside light weight virtual machines on Linux, virtualized environments for macOS and Windows, monitoring that can stop a run automatically, and network and cloud perimeters designed to hold containment even if an agent takes over its host machine. وقال إن التعبئة الكاملة للبنية التحتية غير مجدية في الوقت الراهن، لأن هناك حاجة إلى وصلات خارجية لتشغيل التجارب ورصدها.
ولاختبار الجدران، شنت منظمة " أوف آي " حملة حمراء عالية المكتملة، حيث أعطيت أفرقة من وكلاء الأحواض الحدودية ثلاثة أهداف: الوصول إلى شبكة الإنترنت الحية، عبور الحدود الأمنية الداخلية، والتواصل مع وكلاء آخرين عبر حدود العزلة. The company said the experiments consumed hundreds of billions of tokens and uncovered previously unknown software vulnerabilities and misconfigurations, including Sandbox escapes, virtual machine escapes, and ways to communicate across isolation boundaries. وقد استُصلحت نقاط الضعف، حيث أثرت على برامجيات المصدر المفتوح، عملت المنظمة مع متعهدين في إطار مبادرة " باتش " (Ptch the Planet) للكشف عنها ومعالجتها، بما في ذلك عناصر من قبيل حاويات كاتا، وGVisor، ودوكر، والعديد من مواطن الضعف. ويُعدّ الآن التحكُّم الأحمر العالي المكتمل جزءاً من حالات السلامة التي يستخدمها المعهد لتحديد ما إذا كان من الممكن المضي قدماً في التدريب والتقييم على الحدود.
واستشهد المعهد أيضا بحادثة " الوجه المهددة " التي وقعت في تموز/يوليه وأمثلة أخرى تبين أن النماذج ذات القدرات الإلكترونية المتطورة يمكن أن تتعدى على الاحتواء أثناء التدريب والتقييم. وفقاً لـ (تيك كرونش)، بدأت (أنثروب) في الحد من وصول أحدث نماذجها إلى الشبكة الحية قبل حوالي أسبوعين مما يعني أن كلا المختبرين الرائدين قد فصلا الآن بيئتهما التدريبية عن الإنترنت الحقيقي
المصدر: GSM · الولايات المتحدة (الطبعة الإنجليزية · الطبعة الصينية الأصلية)
صورة: OpenAI 位于旧金山（San Francisco）的总部大楼（资料图）。照片：Coolcaesar，CC BY 4.0，经 Wikimedia Commons。 / OpenAI headquarters in San Francisco (file photo). Photo: Coolcaesar, CC BY 4.0, via Wikimedia Commons.
