[发明专利]一种基于依存连贯性约束的双语词语自动对齐方法有效
申请号: | 201210175015.2 | 申请日: | 2012-05-30 |
公开(公告)号: | CN102708098A | 公开(公告)日: | 2012-10-03 |
发明(设计)人: | 宗成庆;王志国 | 申请(专利权)人: | 中国科学院自动化研究所 |
主分类号: | G06F17/28 | 分类号: | G06F17/28;G06F17/30 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 宋焰琴 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 依存 连贯性 约束 双语 词语 自动 对齐 方法 | ||
1.一种基于依存连贯性约束的双语词对齐方法,该方法根据一个双语训练集产生一个词对齐模型,利用该词对齐模型对测试句子对进行词对齐,生成一个词对齐结果,其中所述双语训练集包括多个训练句子对,所述每个训练句子对包括语义相互对应的一个源语言句子和一个目标语言句子,其特征在于,该方法训练一个基于源语言端和目标语言端依存连贯性约束的词对齐模型,并利用该词对齐模型产生关于该测试句子对的满足源语言端和目标语言端依存连贯性约束的词对齐结果,并将这两个词对齐结果进行合并,产生一个满足双语依存连贯性约束的词对齐结果。
2.如权利要求1所述的基于依存连贯性约束的双语词语自动对齐方法,其特征在于,该方法包括:
步骤S1、对所述双语训练集中的每个训练句子对的源语言句子和目标语言句子进行依存句法分析,得到源语言端的依存句法树和目标语言端的依存句法树;
步骤S2、利用所述双语训练集中的训练句子对和源语言端的依存句法树,训练一个基于源语言端依存连贯性约束的词对齐模型;利用双语训练集中的训练句子对和目标语言端的依存句法树,训练一个基于目标语言端依存连贯性约束的词对齐模型;
步骤S3、首先,利用所述基于源语言端依存连贯性约束的词对齐模型为所述测试句子对产生一个符合源语言端依存连贯性约束的词对齐结果;然后,利用所述基于目标语言端依存连贯性约束的词对齐模型为所述测试句子对产生一个符合目标语言端依存连贯性约束的词对齐结果;最后,将这两个词对齐结果进行合并,产生一个满足双语依存连贯性约束的词对齐结果。
3.根据权利要求2所述的基于依存连贯性约束的双语词语自动对齐方法,其特征在于,在步骤S1中,当所述双语训练集的源语言或目标语言是汉语时,在进行依存句法分析之前对训练句子对中的汉语句子进行分词。
4.根据权利要求2所述的基于依存连贯性约束的双语词语自动对齐方法,其特征在于,步骤S2中的依存连贯性约束包括以下两类:
中心词连贯性约束:用来约束源语言端的依存节点fj在目标语言端的对齐位置aj,使得以fj在依存树上的孩子节点为根节点的依存子树映射到目标端的范围尽量不与aj产生交叉;
依存子树连贯性约束:用来约束源语言端的依存节点fj在目标语言端的对齐位置aj,使得以fj在依存树上的兄妹节点为根节点的依存子树映射到目标语言端的范围尽量不与以fj为根节点的依存子树映射到目标语言端的范围产生交叉。
5.根据权利要求4所述的基于依存连贯性约束的双语词语自动对齐方法,其特征在于,在步骤S2中,训练一个基于源语言端或目标语言端依存连贯性约束的词对齐模型的步骤包括:
步骤S21、为所述双语训练集中的每个训练句子对产生一个初始的词对齐结果;
步骤S22、利用当前的词对齐结果和源语言端或目标语言端依存句法树,估计基于源语言端或目标语言端依存连贯性约束的词对齐模型的参数;
步骤S23、利用当前的词对齐模型参数重新为所述双语训练集中的每个训练句子对产生一个满足源语言端或目标语言端依存连贯性约束的词对齐结果;
步骤S24、转到步骤S22,反复迭代多次,直到满足停机条件为止;
步骤S25、输出最终的基于源语言端或目标语言端依存连贯性约束的词对齐模型。
6.根据权利要求5所述的基于依存连贯性约束的双语词语自动对齐方法,其特征在于,在步骤S22中,基于源语言端或目标语言端依存连贯性约束的词对齐模型的参数包括:
给定源语言端句子及其依存句法树的条件下,生成词对齐序列和目标语言端句子的条件概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210175015.2/1.html,转载请声明来源钻瓜专利网。