藏文文本相似度计算方法研究

分享到

【作者】严李强，田博，梁炜恒，杨欢欢
【作者单位】西藏大学信息科学技术学院
【年份】2021
【卷号】第5卷
【期号】第3期
【页码】70-77，114
【ISSN】2096-4617
【关键词】藏文文本相似度 TF-IDF TF-IWF 余弦相似度原理
【摘要】随着藏文文献数量的增加,原创性的藏文文献保护需求也越来越迫切,一个准确有效的藏文文本相似度计算方法就显得十分重要。文章针对藏文文字特殊结构导致藏文相似度计算不能照搬中英文文本相似度计算方法的问题,尝试按照《藏文编码字符集》的标准对藏文字符以一定顺序编码后与词库中的近义词关联;然后将待测文本和对照文本向量化,再对向量化的文本进行关键词提取,并用各自获取的关键词修正向量;最后使用余弦相似度原理计算待测文本向量和对照文本向量的余弦值,以此表示两句话的相似度。针对关键词提取的有效性,文章分别研究了TF-...
【基金】国家自然科学基金
【文献类型】期刊