Трансформаторные модели предсказывают метрики воздействия бумаги из заголовков и тезисов, оцененных в миллионе статей

Исследование, опубликованное 14 ноября в Scientific Reports, проверяло, могут ли модели Трансформера прогнозировать показатели воздействия на бумагу только из заголовков и тезисов. Авторы, Кэмерон С. Янг и Марк Д. Суччи, ориентировались на три показателя: цитирование в год, Altmetric Score и относительный коэффициент цитирования (RCR) из системы iCite Национальных институтов здравоохранения США.

Используя BioBERT в качестве репрезентативной базовой модели, окончательная оценка охватила миллион общих научных и медицинских статей. В наборе медицинских данных BioBERT достиг F1 0.494, точности 0,504 и MCC 0.382 для цитирования в год; F1 0.468 и MCC 0.354 для Altmetric Score; и F1 0,516 и MCC 0.405 для iCite RCR.

Модели лучше всего отличали бумаги в квинтилях с самым высоким и самым низким воздействием и были слабее на средних квинтилях.

Источник: GSM · Соединённые Штаты (Английское издание · Оригинальное китайское издание)

Фото: 图：Transformer 模型的整体架构示意图，左侧为编码器、右侧为解码器。来源：Daniel Voigt Godoy (dvgodoy)，Wikimedia Commons，CC BY 4.0。 / Photo: Diagram of the overall Transformer model architecture, encoder on the left and decoder on the right. Source: Daniel Voigt Godoy (dvgodoy), Wikimedia Commons, CC BY 4.0.