[发明专利]一种基于关键词的中英双语平行语料库构建方法

权利要求书

1.一种基于关键词的中英双语平行语料库构建方法，其特征在于，该方法包括如下步骤：

1）建设双语平行语料库：本步骤中包括如下分步骤：（1）源网站搜集、（2）通过网络爬虫获取网站HTML、（3）对网站HTML进行解析、（4）对齐、（5）去除噪音、（6）得到平行语料库；

2）自动对齐：利用开源工具GIZA++进行词语对齐，得到对齐文本，借助对齐文本的信息，抽取所有的词和词组作为关键词的一部分；

3）抽取关键词：对词和词组进行过滤，过滤的方法为概率去除法或相似度去除法，所述概率去除法为将低概率的短语对齐对去除，所述相似度去除法为从书籍的双语词典中去和抽取出来的词组进行相似度去除，经过过滤后的词组加入到平行语料库中；

4）构成基于关键词的双语平行语料库；

在分步骤（4）中，对齐包括篇章对齐、断句和句子对齐；

抽取关键词时去除概率低于0.0001的短语。