Modelos de Transformer Predict Paper Impact Metrics from Titles and Abstracts, Avalied Across One Million Articles
Um estudo publicado em 14 de novembro em Scientific Reports testou se modelos Transformer podem prever métricas de impacto de papel de títulos e resumos somente. Os autores, Cameron C. Young e Marc D. Succi, visaram três métricas: citações por ano, Altmetric Score, e a relativa razão de citação (RCR) do sistema nacional de saúde iCite.
Utilizando a BioBERT como modelo de base representativo, a avaliação final abrangeu um milhão de artigos de ciência geral e médica. No conjunto de dados médicos, a BioBERT alcançou F1 de 0,494, acurácia de 0,504 e CCM de 0,382 para citações por ano; F1 de 0,468 e CCM de 0,354 para escore altmétrico; e F1 de 0,516 e CCM de 0,405 para RCR iCite.
Os modelos apresentaram melhor desempenho na distinção de artigos nos quintis de maior e menor impacto, sendo mais fracos nos quintis médios.
Fonte: GSM · Estados Unidos (Edição em inglês · Edição original em chinês)
Foto: 图：Transformer 模型的整体架构示意图，左侧为编码器、右侧为解码器。来源：Daniel Voigt Godoy (dvgodoy)，Wikimedia Commons，CC BY 4.0。 / Photo: Diagram of the overall Transformer model architecture, encoder on the left and decoder on the right. Source: Daniel Voigt Godoy (dvgodoy), Wikimedia Commons, CC BY 4.0.
