[发明专利]一种数据处理方法、装置及计算机可读存储介质有效
申请号: | 201911114440.9 | 申请日: | 2019-11-14 |
公开(公告)号: | CN111046655B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 林振斌;王晓利 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06F18/214;G06F18/2433;G06N3/088 |
代理公司: | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人: | 彭绪坤 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 计算机 可读 存储 介质 | ||
本申请实施例公开了一种数据处理方法、装置及计算机可读存储介质,本申请实施例通过采集正词对样本数据和负词对样本数据;根据正词对样本数据和负词对样本数据对自编码器进行训练,得到训练后的自编码器;通过训练后的自编码器提取正词对样本数据和负词对样本数据相应的特征信息;将特征信息输入至二分类器中进行训练,得到训练后的二分类器;结合训练后的自编码器和训练后的二分类器对待识别词对数据的上下位关系进行识别。以此,将正负词对样本数据同时对自编码器进行训练,且基于训练后的自编码器提取正负词对样本数据相应的特征信息对二分类器进行结合训练,实现上下位关系的准确识别,极大的提升了数据处理的效率和上下位关系判定的准确率。
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据处理方法、装置及计算机可读存储介质。
背景技术
随着网络的发展和计算机的广泛应用,数据处理技术显得越来越重要,比如,上位词的挖掘技术一直是自然语言处理领域的重要研究课题,是自然语言理解的基础能力,无论对于领域分类、意图识别还是推荐系统中的用户兴趣点挖掘都具有非常重要的作用。
相关技术中,一般会通过序列标注问题的方案来解决上下位判别的问题,即将上下位关系抽取跟判别两个任务融合为一个任务,合并训练一个模型,从下位词和上位词共同出现的文本中提取出下位词的上位词进行人工标注,将标注后的数据输入模型中进行训练,使得模型具有识别能力。
在对相关技术的研究和实践过程中,本申请的发明人发现,相关技术中,标注成本非常昂贵,难以获取大量的标注数据,且基于共同文本作为上下位信息识别,数据处理的效率较差,进而使得上下位关系判定的准确率较低。
发明内容
本申请实施例提供一种数据处理方法、装置及计算机可读存储介质,可以提升数据处理的效率,进而提升上下位关系判定的准确率。
为解决上述技术问题,本申请实施例提供以下技术方案:
一种数据处理方法,包括:
采集正词对样本数据和负词对样本数据;
根据所述正词对样本数据和负词对样本数据对自编码器进行训练,得到训练后的自编码器;
通过训练后的自编码器提取所述正词对样本数据和负词对样本数据相应的特征信息;
将所述特征信息输入至二分类器中进行训练,得到训练后的二分类器;
结合所述训练后的自编码器和训练后的二分类器对待识别词对数据的上下位关系进行识别。
相应的,本申请实施例还提供一种数据处理装置,包括:
采集单元,用于采集正词对样本数据和负词对样本数据;
第一训练单元,用于根据所述正词对样本数据和负词对样本数据对自编码器进行训练,得到训练后的自编码器;
提取单元,用于通过训练后的自编码器提取所述正词对样本数据和负词对样本数据相应的特征信息;
第二训练单元,用于将所述特征信息输入至二分类器中进行训练,得到训练后的二分类器;
识别单元,用于结合所述训练后的自编码器和训练后的二分类器对待识别词对数据的上下位关系进行识别。
在一些实施例中,所述第二训练单元,用于:
将所述正特征信息和正目标阈值输入至二分类器中进行训练;
将所述负特征信息和负目标阈值输入至二分类器中进行训练,得到训练后的二分类器。
在一些实施例中,所述采集单元,用于:
采集正词对样本数据;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911114440.9/2.html,转载请声明来源钻瓜专利网。