800-Participant Randomized Experiment: स्रोत ट्रांसपेरेंसी प्लस सटीकता चेतावनी Wrong उत्तर की कटौती स्वीकृति 45% से 21% तक
14 नवंबर को वैज्ञानिक रिपोर्टों में प्रकाशित एक यादृच्छिक ऑनलाइन प्रयोग ने परीक्षण किया कि क्या दृश्य स्रोत जानकारी और सटीकता चेतावनी पीढ़ी-AI उत्तरों पर अधिक चयनात्मक निर्भरता का समर्थन करती है। जिंग, झांग, झांग और सहयोगियों द्वारा अध्ययन 14 अगस्त को प्राप्त हुआ और 11 नवंबर को स्वीकार किया गया।
अंतिम विश्लेषणात्मक नमूना 800 वयस्क प्रतिभागियों को चार क्यू स्थितियों में से एक को सौंपा गया था। प्रत्येक प्रतिभागी ने 24 एआई-शैली के उत्तरों का मूल्यांकन किया, जो 19,200 परीक्षण स्तर के अवलोकनों को उत्पन्न करता है, एक डिजाइन क्रॉसिंग सोर्स ट्रांसपेरेंसी (absent बनाम वर्तमान), सटीकता चेतावनी (वर्तमान बनाम उपस्थित) में, और उत्तर शुद्धता (incorrect बनाम सही) प्रतिभागी के भीतर।
प्रतिभागियों ने गलत उत्तरों की तुलना में अक्सर सही उत्तर स्वीकार किए, और सही गलत स्वीकृति अंतर स्रोत-plus-warning स्थिति में सबसे बड़ा था। मॉडल में गलत हार परीक्षण तक ही सीमित है, गलत उत्तरों की स्वीकृति नियंत्रण की स्थिति में 45% (1080/2400) पर सर्वोच्च थी, और स्रोत-केवल शर्त में 36% (864/2400) पर कम थी, 28% (672/2400) पर चेतावनी-केवल शर्त, और 21% (504/2400) पर स्रोत-plus-warning स्थिति। सत्यापन व्यवहार संयुक्त स्थिति में 52% (2496/4800) पर उच्चतम था।
लेखकों ने कहा कि संक्षिप्त ऑन-स्क्रीन क्यू ने गलत-अन्सर स्वीकृति को कम कर दिया और कम जोखिम वाली सूचना-मूल्यांकन कार्यों में सत्यापन को प्रोत्साहित किया, जबकि यह नोट किया कि प्रतिक्रिया पूर्वाग्रह और संवेदनशीलता के बीच का अंतर एक महत्वपूर्ण सीमा शर्त बनी हुई है।
स्रोत: GSM · संयुक्त राज्य अमेरिका (अंग्रेज़ी संस्करण · मूल चीनी संस्करण)
फ़ोटो: 图：ChatGPT 的对话界面截图，实验中的生成式答案即以此类界面呈现。作者：Lugab89，CC BY 3.0，维基共享资源。 / Photo: A ChatGPT conversation interface screenshot; the generative answers in the experiment were presented in interfaces of this kind. Credit: Lugab89, CC BY 3.0, via Wikimedia Commons.
