800-Participant Випадкований експеримент: джерело прозорості плюс точність Попередження Відповідає Від 45% до 21%
14 листопада випробували, чи є видима інформація про джерело та попередження про точність, що підтримують більш вибіркові відповіді на генративно-AI. 14 серпня та прийнята 11 листопада.
Остаточний аналітичний зразок було 800 учасників, призначених для одного з чотирьох умов ліктя. Кожен учасник оцінюється 24 Відповіді про AI-style, що випускає 19,200 тестових спостережень, в дизайні, що перетинає прозорість джерела (абсент проти присутніх), попередження про точність (абсент проти присутніх), і відповідь на вірність (невірно проти. виправити, в межах учасника).
Учасники приймали правильні відповіді частіше, ніж неправильні відповіді, а правильний зазор приймання був найбільшим у початково-приватному стані. У моделі обмеження на некоректно-розвантажувальні випробування, прийняття некоректних відповідей було найвищим у стані контролю на 45% (1080/2400), а також зниження у вихідному стані на 36% (864/2400), попереджувального стану на 28% (672/2400), і вихідно-відновлювального стану на 21% (504/2400). Поведінка верифікація була найвищою в комбінованому стані, на 52% (2496/4800).
Авторами зауважив короткий проекранний лік, опущений помилково-розвантажувальний прийом і заохочувала перевірку в задачах низької інформації-оцінки, в той час як незважаючи на те, що відмінність між відповідями і чутливістю залишається важливим граничним станом.
Джерело: GSM · Сполучені Штати (Англійське видання · Оригінальне китайське видання)
Фото: 图：ChatGPT 的对话界面截图，实验中的生成式答案即以此类界面呈现。作者：Lugab89，CC BY 3.0，维基共享资源。 / Photo: A ChatGPT conversation interface screenshot; the generative answers in the experiment were presented in interfaces of this kind. Credit: Lugab89, CC BY 3.0, via Wikimedia Commons.
