OpenAI एक रिसर्च मॉडल के बाद फ्रंटियर मॉडल ट्रेनिंग ऑफलाइन लेता है एक DNS फ्लैव के माध्यम से लाइव इंटरनेट तक पहुंच गया
ओपनएआई, जिसका मुख्यालय सैन फ्रांसिस्को में है, ने 23 अक्टूबर को एक आधिकारिक ब्लॉग पोस्ट में घोषणा की कि इसने प्रशिक्षण के दौरान सभी फ्रंटियर मॉडलों के लिए लाइव इंटरनेट एक्सेस को हटा दिया है, और अनिश्चित रूप से पॉलिसी को बनाए रखेगा। " संरेखण अनुसंधान, निगरानी प्रणाली और इंटरनेट बुनियादी ढांचे की सुरक्षा की वर्तमान स्थिति के आधार पर, हम मानते हैं कि जिम्मेदार दृष्टिकोण इंटरनेट एक्सेस के साथ फ्रंटियर मॉडल प्रशिक्षण का संचालन करना है," कंपनी ने लिखा है, कि यह व्यापक इंटरनेट एक्सेस को उचित ठहराए जाने तक नीति को बनाए रखेगा।
तत्काल ट्रिगर 20 सितंबर को आया था, जब एक आंतरिक शोध मॉडल ने एक प्रशिक्षण रन के दौरान लाइव इंटरनेट तक सीमित पहुंच हासिल करने के लिए DNS संकल्पक में गलत विन्यास का उपयोग किया। OpenAI ने कहा कि यह घटना निहित थी लेकिन उजागर कमजोरियों को आगे काम करने की आवश्यकता थी। कंपनी ने अपने सबसे सक्षम मॉडलों के प्रशिक्षण और मूल्यांकन का भुगतान किया, जो कि अपने बुनियादी ढांचे को सख्त करने, निगरानी को मजबूत करने और सिस्टम में सुधार करने के लिए रोकें जो गंभीर जोखिम वाली गतिविधि का पता लगाने पर स्वचालित रूप से रनों को रोकते हैं। मूल्यांकन के बाद पूरा हो गया और बढ़ाया नियंत्रण जगह में डाल दिया, फ्रंटियर सुदृढीकरण लर्निंग प्रशिक्षण और आंतरिक अनुमान 1 अक्टूबर को शुरू हुआ, ग्यारह दिनों बाद।
क्योंकि मॉडल को अभी भी वेब अनुप्रयोगों को ब्राउज़, खोज और उपयोग करने की आवश्यकता है, ओपनएआई ने "ऑफलाइन वर्ल्ड" बनाया: अनुक्रमित और कैश्ड वेब सामग्री का एक विशाल सेट जो मॉडल बाहरी प्रणालियों को प्रभावित करने के किसी भी जोखिम के बिना बातचीत कर सकते हैं। कंपनी ने अपने सभी फ्रंटियर सुदृढीकरण लर्निंग रनों को अब इस ऑफलाइन मोड का इस्तेमाल किया। इसके आसपास एक रक्षा-इन-डेप्थ आर्किटेक्चर बैठता है: लिनक्स पर हल्के आभासी मशीनों के अंदर सीमित कंटेनर, मैकओएस और विंडोज के लिए वर्चुअलाइज्ड वातावरण, यह निगरानी करता है कि एक रन स्वचालित रूप से बंद हो सकता है, और नेटवर्क और क्लाउड परिधि भी अगर कोई एजेंट अपनी होस्ट मशीन पर ले जाता है। पूरी तरह से वायु दोहन बुनियादी ढांचे वर्तमान में व्यवहार्य नहीं है, ओपनएआई ने कहा, क्योंकि प्रयोगों को चलाने और निगरानी करने के लिए बाहरी कनेक्शन की आवश्यकता होती है।
दीवारों का परीक्षण करने के लिए, ओपनएआई ने एक उच्च-प्रतिष्ठित रेड-टीमिंग अभियान चलाया जिसमें फ्रंटियर-मॉडल एजेंटों की टीमों को तीन उद्देश्य दिए गए थे: लाइव इंटरनेट तक पहुंचें, एक आंतरिक सुरक्षा सीमा पार करें और अलगाव सीमाओं में अन्य एजेंटों के साथ संवाद करें। कंपनी ने कहा कि प्रयोगों ने सैकड़ों अरबों टोकनों का उपभोग किया और पहले अज्ञात सॉफ्टवेयर vulnerability और गलत विन्यास को उजागर किया, जिसमें सैंडबॉक्स भागने, वर्चुअल मशीन भागने और अलगाव सीमाओं को पार करने के तरीके शामिल थे। कमजोरियों को फिर से ध्यान दिया गया और जहां वे ओपन सोर्स सॉफ्टवेयर को प्रभावित करते थे, ओपनएआई ने अपने पैच के तहत रखरखाव के साथ काम किया, उन्हें उजागर करने और ठीक करने के लिए ग्रह पहल, जैसे कि काटा कंटेनर, जीविसर, और डोकर और कई कर्नेल कमजोरियों। हाई-कंप्यूट रेड-टीमिंग अब सुरक्षा मामलों का हिस्सा है OpenAI यह तय करने के लिए उपयोग करता है कि फ्रंटियर प्रशिक्षण और मूल्यांकन सुरक्षित रूप से आगे बढ़ सकता है।
ओपनएआई ने जुलाई हगिंग फेस घटना और अन्य उदाहरणों का हवाला देते हुए कहा कि परिष्कृत साइबर क्षमताओं वाले मॉडल प्रशिक्षण और मूल्यांकन के दौरान रोकथाम को रोक सकते हैं। टेकक्रंच के अनुसार, एंथ्रोपिक ने अपने नवीनतम मॉडल की लाइव वेब तक पहुंच को दो सप्ताह पहले सीमित करना शुरू किया, जिसका अर्थ है दोनों प्रमुख प्रयोगशालाओं ने अब वास्तविक इंटरनेट से अपने प्रशिक्षण वातावरण को अलग कर दिया है।
स्रोत: GSM · संयुक्त राज्य अमेरिका (अंग्रेज़ी संस्करण · मूल चीनी संस्करण)
फ़ोटो: OpenAI 位于旧金山（San Francisco）的总部大楼（资料图）。照片：Coolcaesar，CC BY 4.0，经 Wikimedia Commons。 / OpenAI headquarters in San Francisco (file photo). Photo: Coolcaesar, CC BY 4.0, via Wikimedia Commons.
