800-Participant Randomized Experiment: Source Transparency Plus Di - maipaliwanag na Babala na Putulin ang Pagtanggap sa Maling mga Sagot Mula 45% hanggang 21%
Ang isang pasumalang eksperimentong online na inilathala sa Scientific Reports noong Nobyembre 14 ay sumubok kung ang nakikitang impormasyong pinagkunan at isang tumpak na babala ay sumusuporta sa mas mapamiling pananalig sa mga sagot ng generative-AI. Ang pag-aaral, sa pamamagitan ng Xing, Zhang, Zhang at mga kasamahan, ay natanggap noong Agosto 14 at tinanggap noong Nobyembre 11.
Ang huling sampol na analitiko ay 800 adultong kalahok na inatasan sa isa sa apat na palatandaang kalagayan. Ang bawat kalahok ay sinuri ang 24 na mga sagot ng AI-style, nagbibigay ng 19,200 mga obserbasyong trial-level, sa isang disenyong tumatawid sa source transparency (absent vs. kasalukuyan), tumpak na babala (absent vs. regalo), at sumasagot sa pagiging tama (naituwid vs. tama, sa loob ng kalahok).
Ang mga participante ay tumatanggap ng mga tamang sagot nang mas madalas kaysa sa hindi wastong mga sagot, at ang tamang-tamang pagtanggap na puwang ay pinakamalaki sa source-plus-warning na kondisyon. Sa modelong nililimitahan sa mga di-tamang-answer trials, ang pagtanggap ng maling sagot ay pinakamataas sa kondisyong control sa 45% (1080/2400), at mas mababa sa source-lamang na kondisyon sa 36% (864/2400), ang babala-lamang na kondisyon sa 28% (672/2400), at ang pinagmulan-plus-warning kondisyon sa 21% (504/2400). Ang beripikasyong pag-aasal ay pinakamataas sa pinagsamang kondisyon, sa 52% (2496/4800).
Ang mga may akda ay nagsabi ng mga maikling on-screen cues na ibinaba ang maling-answer katanggap-tanggap at hinimok ang beripikasyon sa mababang-isk information-evaluation na mga gawain, habang napapansin na ang pagkakaiba sa pagitan ng pagkiling sa pagtugon at sensitibidad ay nananatiling isang mahalagang kondisyon ng hangganan.
Source: GSM · United States (Edisyong Ingles · Orihinal na edisyong Tsino)
Larawan: 图：ChatGPT 的对话界面截图，实验中的生成式答案即以此类界面呈现。作者：Lugab89，CC BY 3.0，维基共享资源。 / Photo: A ChatGPT conversation interface screenshot; the generative answers in the experiment were presented in interfaces of this kind. Credit: Lugab89, CC BY 3.0, via Wikimedia Commons.
