基于最大熵模型的藏文不良文本识别系统的设计和实现

分享到

【获取途径】超星期刊网
【作者】仁青诺布，苏亚超，孙亚东
【作者单位】西藏大学工学院
【年份】2014
【卷号】第3期
【页码】77-78
【ISSN】1004-3403
【关键词】最大熵模型藏文文本不良文本识别特征选取
【摘要】随着互联网不断发展，境外反动势力利用网络传播不良信息呈愈演愈烈之势，尤其在藏文信息方面。利用最大熵模型，可对网络藏文文本进行分类，识别不良藏文文本及正常藏文文本。用互信息进行特征提取，建立藏文不良文本库用以训练最大熵模型，利用 Opennlp 最大熵工具包实现功能，利用最大熵模型求出文档属于不良文本和合法文本的概率，通过分析准确率、召回率对识别结果进行分析。通过实验实现了最大熵算法进行藏文文本分类功能，用最大熵算法进行藏文不良文本识别效果比较明显。
【文献类型】期刊