李彦增关于使用图神经网络适配器向中文预训练语言模型引入语言学先验的论文《Enhancing Chinese Pre-trained Language Model via Heterogeneous Linguistics Graph》被 ACL 2022 录用。

通过利用易于获取的中文分词信息，构建能表达中文文本中层次结构的语言模式异质图，在此之上应用我们提出的 MSIP（多步信息传播）GCN 对语言模式异质图进行建模，并以适配器的形式插入预训练语言模型中，有效地提升了预训练语言模型在中文自然语言处理下游任务中的效果。实验结果表明，此方法在多个预训练语言模型下游任务的多个基准数据集上取得了良好的结果；相较于前人工作，此方法在不损失精度的情况下，将模型训练、推理速度提升了7倍以上。