[发明专利]一种中文零代词消解方法及系统在审
申请号: | 201811000982.9 | 申请日: | 2018-08-30 |
公开(公告)号: | CN109165386A | 公开(公告)日: | 2019-01-08 |
发明(设计)人: | 刘秉权;孙承杰;栾克鑫;游世学;杜新凯 | 申请(专利权)人: | 哈尔滨工业大学;北京中科汇联科技股份有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京庆峰财智知识产权代理事务所(普通合伙) 11417 | 代理人: | 李文军 |
地址: | 150001 黑龙*** | 国省代码: | 黑龙江;23 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 消解 位置识别 优化规则 预设 预处理 句法分析 排序结果 中文 概率 语料 排序 集合 学习 | ||
1.一种中文零代词消解方法,其特征在于,包括:
通过对目标语料进行预处理,获取候选零代词标记;
对候选零代词进行位置识别;位置识别的结果结合预设优化规则,得到目标零代词;
根据所有目标零代词及候选先行语获得表述对集合;
获取每个表述对中目标零代词与候选先行语间指代关系的概率,并将多个指代关系的概率进行排序;
根据排序结果得到对应的零代词消解结果。
2.根据权利要求1所述的消解方法,其特征在于,所述通过对目标语料进行预处理,获取候选零代词标记,包括:
根据数据集划分方法将目标数据集进行划分,得到零代词在训练集、测试集、验证集上的标记。
3.根据权利要求1所述的消解方法,其特征在于,所述对候选零代词进行位置识别;位置识别的结果结合预设优化规则,得到目标零代词;包括:
将候选零代词上下文的词向量作为输入,利用双向循环神经网络获得上下文语义特征;
将上下文语义特征输入logistic层,得到目标语料候选零代词指代关系的概率;
结合预设优化规则对指代关系概率进行优化,得到概率优化结果;
根据概率优化结果获得目标零代词。
4.根据权利要求1所述的消解方法,其特征在于,所述根据所有目标零代词及候选先行语获得表述对集合;包括:
根据上下文分析识别出候选先行语;
根据目标零代词和候选先行语的识别结果得到相应的候选先行语集合;所有的目标零代词具有对应的目标零代词集合;
将目标零代词集合与候选先行语集合做笛卡尔积运算,构建出表述对集合;
根据句法分析特征和词向量特征,结合长短期记忆网络模型,提取出表述对特征;所述表述对特征包括候选先行语特征、候选先行语的上文特征、候选先行语的下文特征、零代词的上下文特征。
5.根据权利要求4所述的消解方法,其特征在于,
所述句法分析特征包括短语结构句法分析特征和依存句法分析特征;
所述短语结构句法分析特征包括候选先行语和零代词的距离特征,以及在语法树上的位置关系;所述依存句法分析特征包括零代词与候选先行语的关系特征;
所述词向量特征包括本身词向量特征和上下文词向量特征;
所述本身词向量特征为构成先行语的词语的词向量特征;所述上下文词向量特征是由固定大小的窗口内上下文的词向量组合得到的特征。
6.一种中文零代词消解系统,其特征在于,包括:
预处理模块,用于通过对目标语料进行预处理,获取候选零代词标记;
零代词识别模块,用于对候选零代词进行位置识别;位置识别的结果结合预设优化规则,得到目标零代词;
表述对集合获取模块,用于根据所有目标零代词及候选先行语获得表述对集合;
指代关系概率获取模块,用于获取每个表述对中目标零代词与候选先行语间指代关系的概率,并将多个指代关系的概率进行排序;
零代词消解模块,用于根据排序结果得到对应的零代词消解结果。
7.根据权利要求6所述的消解系统,其特征在于,所述预处理模块包括:
零代词标记单元,用于根据数据集划分方法将目标数据集进行划分,得到零代词在训练集、测试集、验证集上的标记。
8.根据权利要求6所述的消解方法,其特征在于,所述零代词识别模块包括:
上下文语义特征获取单元,用于将候选零代词上下文的词向量作为输入,利用双向循环神经网络获得上下文语义特征;
指代词识别单元,用于将上下文语义特征输入logistic层,得到目标语料候选零代词指代词的概率;
概率优化结果获取单元,用于结合预设优化规则对指代关系概率进行优化,得到概率优化结果;
目标零代词获取单元,用于根据概率优化结果获得目标零代词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学;北京中科汇联科技股份有限公司,未经哈尔滨工业大学;北京中科汇联科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811000982.9/1.html,转载请声明来源钻瓜专利网。