[发明专利]数据处理方法和代词消解神经网络训练方法在审
申请号: | 201910319013.8 | 申请日: | 2019-04-19 |
公开(公告)号: | CN110162785A | 公开(公告)日: | 2019-08-23 |
发明(设计)人: | 张金超;孟凡东;周杰 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06N3/08 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 李文渊;何平 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 替代 词语 待检测文本 词语集合 消解 可读存储介质 神经网络训练 计算机设备 上下文词语 迭代处理 目标替代 特征向量 可能度 模长 集合 目标文本 神经网络 特征提取 数据处理 检测 申请 | ||
本申请涉及一种数据方法、装置、可读存储介质和计算机设备,该方法包括:获取待检测文本;将待检测文本对应的上下文词语集合和候选替代词语集合输入至代词消解神经网络中,分别对上下文词语集合和候选替代词语集合进行特征提取得到对应的第一特征和第二特征,根据第一特征和第二特征进行正例迭代处理和反例迭代处理得到正反例特征向量模长,根据正反例特征向量模长计算得到候选替代词语集合中各个候选替代词语对应的替代可能度;根据各个候选替代词语对应的替代可能度确定目标替代词语;根据待检测词语对应的位置将目标替代词语插入待检测文本得到目标文本。此外还提供了一种代词消解神经网络训练方法、装置、可读存储介质和计算机设备。
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据处理方法、装置、计算机可读存储介质和计算机设备,以及代词消解神经网络训练方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着计算机技术的发展,出现了代词消解技术,代词消解技术是指给定待检测文本内容,通过算法定位找到该代词所指代的候选替代词语。目前的代词消解问题的解决方式是通过神经网络来对代词消解问题进行建模,通过神经网络预测得到该代词所指代的目标候选替代词语。然而,目前的神经网络直接对该代词和对应的候选替代词语进行分类得到目标候选替代词语,导致代词消解的准确率低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高代词消解的准确率的数据处理方法、装置、计算机可读存储介质和计算机设备,以及代词消解神经网络训练方法、装置、计算机可读存储介质和计算机设备。
一种数据处理方法,包括:
获取待检测文本,确定待检测文本中待检测词语对应的上下文词语集合和候选替代词语集合;
将上下文词语集合和候选替代词语集合输入至代词消解神经网络中,代词消解神经网络分别对上下文词语集合和候选替代词语集合进行特征提取得到对应的第一特征和第二特征;
代词消解神经网络根据第一特征和第二特征进行正例迭代处理得到对应的正例特征向量模长,根据第一特征和第二特征进行反例迭代处理得到对应的反例特征向量模长,根据正例特征向量模长和反例特征向量模长计算得到候选替代词语集合中各个候选替代词语对应的替代可能度;
根据各个候选替代词语对应的替代可能度确定目标替代词语;
根据待检测词语对应的位置将目标替代词语插入待检测文本得到目标文本。
一种数据处理装置,该装置包括:
待检测文本获取模块,用于获取待检测文本,确定待检测文本中待检测词语对应的上下文词语集合和候选替代词语集合;
特征提取模块,用于将上下文词语集合和候选替代词语集合输入至代词消解神经网络中,代词消解神经网络分别对上下文词语集合和候选替代词语集合进行特征提取得到对应的第一特征和第二特征;
迭代处理模块,用于代词消解神经网络根据第一特征和第二特征进行正例迭代处理得到对应的正例特征向量模长,根据第一特征和第二特征进行反例迭代处理得到对应的反例特征向量模长,根据正例特征向量模长和反例特征向量模长计算得到候选替代词语集合中各个候选替代词语对应的替代可能度;
目标替代词语确定模块,用于根据各个候选替代词语对应的替代可能度确定目标替代词语;
目标替代词语插入模块,用于根据待检测词语对应的位置将目标替代词语插入待检测文本得到目标文本。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行程序时实现以下步骤:
获取待检测文本,确定待检测文本中待检测词语对应的上下文词语集合和候选替代词语集合;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910319013.8/2.html,转载请声明来源钻瓜专利网。