[发明专利]一种基于关键词的中英双语平行语料库构建方法

摘要

本发明公开了一种基于关键词的中英双语平行语料库构建方法，该方法包括如下步骤：1）建设双语平行语料库；2）自动对齐；3）抽取关键词；4）建成基于关键词的双语平行语料库。本发明从网络上获取传统的平行语料库，然后采用自动对齐的方法从传统平行语料库中自动的获取对齐的词组对，同时采用各种相似度的计算方法，把提取出来的关键词对进行过滤，最终得到质量较好的基于关键词的平行语料库。实验证明，基于关键词的平行语料库要比传统的平行语料库能提高机器翻译的质量，从实验的BLEU值来看，在英到中的翻译中，能提高大约6.2%，而在中英翻译中能提高2.52%。

主权项

1.一种基于关键词的中英双语平行语料库构建方法，其特征在于，该方法包括如下步骤：1）建设双语平行语料库：本步骤中包括如下分步骤：（1）源网站搜集、（2）通过网络爬虫获取网站HTML、（3）对网站HTML进行解析、（4）对齐、（5）去除噪音、（6）得到平行语料库；2）自动对齐：利用开源工具GIZA++进行词语对齐，得到对齐文本，借助对齐文本的信息，抽取所有的词和词组作为关键词的一部分；3）抽取关键词：对词和词组进行过滤，过滤的方法为概率去除法或相似度去除法，所述概率去除法为将低概率的短语对齐对去除，所述相似度去除法为从书籍的双语词典中去和抽取出来的词组进行相似度去除，经过过滤后的词组加入到平行语料库中；4）构成基于关键词的双语平行语料库；在分步骤（4）中，对齐包括篇章对齐、断句和句子对齐；抽取关键词时去除概率低于0.0001的短语。