Transformer Models Predict Paper Impact Metrics from Titles and Abstracts, Evaluated Across One Million Articles
A study published November 14 in Scientific Reports tested whether Transformer models can predict paper impact metrics from titles and abstracts alone. واستهدف صاحبا البلاغ، كاميرون س. يونغ ومارك د. سوتشي، ثلاثة مقاييس: استشهاد في السنة، وسجل قياسي، ونسبة الاستشهاد النسبي من نظام الولايات المتحدة الأمريكية الوطني للشبكة iCite.
وباستخدام " بيوبرت " كنموذج خط الأساس التمثيلي، شمل التقييم النهائي مليون مادة علمية وطبية عامة. On the medical dataset, BioBERT reached an F1 of 0.494, accuracy of 0.504, and MCC of 0.382 for citations per year; an F1 of 0.468 and MCC of 0.354 for Altmetric Score; and an F1 of 0.516 and MCC of 0.405 for iCite RCR.
وأفضت النماذج إلى التمييز بين الورقات في خمسي أعلى وأدنى أثر، وكانت أضعف في الخمسات الوسطى.
المصدر: GSM · الولايات المتحدة (الطبعة الإنجليزية · الطبعة الصينية الأصلية)
صورة: 图：Transformer 模型的整体架构示意图，左侧为编码器、右侧为解码器。来源：Daniel Voigt Godoy (dvgodoy)，Wikimedia Commons，CC BY 4.0。 / Photo: Diagram of the overall Transformer model architecture, encoder on the left and decoder on the right. Source: Daniel Voigt Godoy (dvgodoy), Wikimedia Commons, CC BY 4.0.
