基于匹配算法的藏文自动分词

分享到

【作者】陈硕，赵栋材，周欢欢
【作者单位】西藏大学藏文信息技术研究中心；西藏大学工学院
【年份】2016
【卷号】第1期
【页码】169-170
【关键词】藏文分词匹配算法哈希表词典机制
【摘要】实现了一种基于哈希表索引和匹配算法的藏文分词的系统。进行分词时,为达到消除部分歧义的目的,采用了正向最大匹配和逆向最大匹配算法相结合的方式进行藏文分词,通过分别计算两种分词结果的频率,然后选择频率较大的一个。最终,通过对26个不同大小的文本对该系统进行测试和分析,得出了分词准确率在92%以上的结论。
【文献类型】期刊