少数民族语言分词技术评测数据集MLWS2021

分享到

【作者】赵小兵，高璐，高定国，包乌格徳勒，米尔阿迪力江·麦麦提，刘洋，才智杰，孙媛
【作者单位】中央民族大学；国家语言资源监测与研究少数民族语言中心；西藏大学；呼和浩特民族学院；清华大学；青海师范大学；藏语智能信息处理及应用国家重点实验室
【年份】2022
【卷号】第2期
【ISSN】2096-2223
【关键词】少数民族语言分词标注评测数据集分词标准规范
【摘要】依据蒙古文、藏文和维吾尔文词汇的构词规律和特点，制定适合计算机信息处理的蒙古文、藏文和维吾尔文分词评测标准，构建蒙古文、藏文和维吾尔文的分词标注语料，形成标准评测数据集，为解决自动分词、词性标注、信息检索、语料库构建等研究课题提供依据。MLWS2021共包含2.5万句藏文、6.5万句蒙古文、6.5万句维吾尔文。本评测数据集将面向社会，提供免费评测服务，逐步建成权威的少数民族语言分词技术评测平台，推动少数民族语言信息处理技术的发展。
【文献类型】期刊