[发明专利]双语文本的对齐方法及装置有效
申请号: | 200910093061.6 | 申请日: | 2009-09-23 |
公开(公告)号: | CN101667177A | 公开(公告)日: | 2010-03-10 |
发明(设计)人: | 李鹏;孙茂松;薛平 | 申请(专利权)人: | 清华大学;波音公司 |
主分类号: | G06F17/28 | 分类号: | G06F17/28 |
代理公司: | 北京三高永信知识产权代理有限责任公司 | 代理人: | 何文彬 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 双语 文本 对齐 方法 装置 | ||
1.一种双语文本的对齐方法,其特征在于,所述方法包括:
将待对齐双语文本的原文文本及译文文本分别进行预处理,所述预处理的方式为:统计所述原文文本及译文文本中每个句子的指纹,所述句子的指纹为:F(s1)=W(s1)-W(s2),F(si)=W(si)-W(si-1)-W(si+1),F(sn)=W(sn)-W(sn-1),其中,给定句子序列s1,s2,L,sn,W(si)为句子si中所有词的集合,W(si-1)为句子si的前一个句子si-1中所有词的集合,W(si+1)为句子si的后一个句子si+1中所有词的集合,“-”代表集合的差运算;
判断所述原文文本及译文文本之间的句子数差值是否足够大,如果|N1-N2|/min(N1,N2)>0.5,则判断所述原文文本及译文文本之间的句子数差值足够大,其中,N1为原文文本的句子数,N2为译文文本的句子数,min(N1,N2)为N1与N2中的最小值;
根据判断结果,选择满足分割条件的句子对作为候选分割点:如果所述原文文本及译文文本之间的句子数差值足够大,则在所述经过预处理的双语文本中直接选择满足分割条件的句子对作为候选分割点;如果所述原文文本及译文文本之间的句子数差值不够大,则根据句子长度信息,将所述经过预处理的双语文本进行初步对齐,得到多个句子对;对每个句子对进行验证计算,选择符合验证条件的句子对作为初始分割点,在所述初始分割点处将所述经过预处理的双语文本分割成多个双语文本初始片段,并在各个双语文本初始片段中选择满足分割条件的句子对作为候选分割点;其中,所述分割条件为:句子对中含有多对互为翻译的词,且所述互为翻译的词仅出现在所述句子对中;
在选择出的候选分割点的前后各取多个句子,连同所述候选分割点组成双语文本测试片段,得到多个双语文本测试片段;
根据词语间的互译关系,将每个双语文本测试片段进行对齐;
根据所述对齐结果及筛选规则,筛选候选分割点,并去除分割位置有交叉的候选分割点,确定最终候选分割点;
在确定的最终候选分割点处进行分割,将经过预处理的双语文本分割成多个双语文本片段;
根据词语间的互译关系,将每个双语文本片段进行对齐,得到对齐的双语文本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学;波音公司,未经清华大学;波音公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/200910093061.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种双层窗帘
- 下一篇:一种在SmarTeam管理系统中自动备份数据的方法