基于动态多头注意力机制的藏文语言模型

分享到

【获取途径】超星期刊网
【作者】张英，拥措，于韬
【作者单位】西藏大学信息科学技术学院；西藏大学藏文信息技术教育部工程研究中心；西藏大学西藏自治区藏文信息技术人工智能重点实验室
【年份】2023
【卷号】第12期
【ISSN】1000-7024
【关键词】注意力机制动态注意力头数藏文预训练语言模型文本分类卷积神经网络自然语言处理
【摘要】针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况，提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数，使语言模型可以捕获重要的特征信息，在藏文公开数据集TNCC上进行验证。实验结果表明，改进后的预训练模型能够动态学习句子中的重要特征，在目前的TNCC文本分类任务上F1值均取得最优，其长文本分类及短文本分类任务的Macro F1值分别为73.23%、64.47%。
【文献类型】期刊