不同子词处理方法对机器翻译的影响研究

分享到

【获取途径】超星期刊网
【作者】唐超超，拥措，仁青卓玛
【作者单位】西藏大学信息科学技术学院；西藏自治区藏文信息技术人工智能重点实验室；藏文信息技术教育部工程研究中心
【年份】2024
【卷号】第12期
【ISSN】1009-3044
【关键词】低资源机器翻译藏语 Transformer 子词
【摘要】不同的子词处理方式和数据规模对神经机器翻译的效果有重要影响。因此，在优化神经机器翻译时需要考虑语言和数据资源的差异性。选择合适的子词处理方式是一个具有挑战性的任务。文章采用Transformer模型，在不同的数据配置和子词处理方式下进行实验，旨在探究它们对汉-藏、汉-英翻译模型性能的影响，以找到在低资源情况下最有效、合适的机器翻译策略。实验结果表明，在相同的实验条件下，汉-英方向使用字节对编码的sentencepiece方法达到了最好的效果。而汉-藏方向则与之相反，subword-nmt方法效果...
【文献类型】期刊