[发明专利]一种语料库的过滤方法及装置

权利要求书

1.一种语料库的过滤方法，其特征在于，包括：

从网络上获取由网络文本构成的第一平行语料库，对获取的网络文本进行过滤、对齐，得到第二平行语料库。

2.如权利要求1所述的方法，其特征在于，所述获取第一平行语料库的步骤为：

源网站搜集；

爬虫获取网站HTML；

HTML解析；

对齐，包括篇章对齐、句子、短语对齐；

噪音去除；

得到第一平行语料库。

3.如权利要求2所述的方法，其特征在于，在第一平行语料库中自动对齐抽取关键词对，然后对抽取的所述关键词对进行概率去除法或相似度去除法过滤；所述概率去除法，即把低概率的关键词对齐对去除；所述相似度去除法，为从已知的双语词典中，去和抽取出来的关键词进行相似度计算，取相似度高的关键词对齐对。

4.如权利要求1所述的方法，其特征在于，对从网络上获取由网络文本构成的第一平行语料库进行篇章对齐的方法为：采用矢量相似度对齐法过滤(公式一)：

cos(v1,v2)=v1·v2||v1||||v2||---(1)]]>

其中，ν是矢量，包含了文档中常见的数字、标点、和命名实体等特征。

5.如权利要求1所述的方法，其特征在于，对从网络上获取由网络文本构成的第一平行语料库进行句子对齐的方法为：根据句子或短语的长度信息来进行过滤；使用长度归一化函数归一化两种语言的长度值(公式二)：

δ(ls,lt)=lt-rls12(lt+rls)σ2---(2)]]>

其中，l_s和l_t是源语言和目标语言的长度；r是两种语言对长度的比率σ²是互译语言对的样本方差