藏文自动分词中未登录词处理方法研究

分享到

【获取途径】超星期刊网
【作者】羊毛卓玛，高定国
【作者单位】西藏大学工学院；青海师范大学民族师范学院
【年份】2012
【卷号】第17期
【页码】46-48
【ISSN】1000-3428
【关键词】藏文信息处理词缀归并未登录词分词碎片整合
【摘要】藏文中后接成份出现频率较高,分词中未登录词的后缀单切现象会影响分词的正确率,为此,采用词(语素)+缀归并的方法,将藏文后接成份与前一词(语素)归并为一个切分单位输出。针对藏文中大量人名、地名、单位名等未登录词在分词时出现的碎片切分现象,使用分词碎片整合方法,将多次出现的词条碎片整合为一个切分单位输出。实验结果表明,2种方法能提高藏文自动分词的识别正确率。
【基金】国家自然科学基金
【文献类型】期刊