[发明专利]一种数据处理方法、装置、计算机设备及存储介质有效
申请号: | 202111435202.5 | 申请日: | 2021-11-29 |
公开(公告)号: | CN114386390B | 公开(公告)日: | 2022-12-06 |
发明(设计)人: | 谭瑞;吴海英;王洪斌;蒋宁;权佳成;陈旭阳 | 申请(专利权)人: | 马上消费金融股份有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/30;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 杨泽;刘芳 |
地址: | 404100 重庆市渝北区*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
获取待训练文本的语句数量;
根据所述语句数量以及预设比例确定目标序号;
从所述待训练文本中选取目标序号上的语句确定为预设语句;
将作为训练数据的所述待训练文本以及作为标签数据的所述预设语句输入至第一预设模型进行迭代训练,输出第一目标语句向量;
基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集;
将作为训练数据的所述上文摘要语句集和下文摘要语句集以及作为标签数据的所述预设语句输入至第二预设模型进行迭代训练,输出第二目标语句向量;
根据所述第一目标语句向量和第二目标语句向量的第一差异对所述预设自注意力模型的模型参数进行更新,并返回基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集,直至根据所述第一差异确定第一模型收敛;
所述数据处理方法,还包括:
获取序号小于目标序号的语句对应的第一中间向量;
将所述第一中间向量输入至第一预设分类模型,输出第一分类向量;
将所述预设语句作为分类标签数据,计算所述第一分类向量和所述预设语句对应的编码向量之间的第四差异;
基于所述第四差异对所述第一预设分类模型的模型参数进行迭代调节,直至根据所述第四差异确定第四模型收敛;
将所述第一中间向量输入第四模型收敛的第一预设分类模型,输出对应的第一目标分类向量。
2.根据权利要求1所述的数据处理方法,其特征在于,所述从所述待训练文本中选取目标序号上的语句确定为预设语句的步骤,包括:
获取所述待训练文本中目标序号对应的第一语句;
在检测到所述第一语句的字符数量大于预设字符数量的情况下,将所述第一语句确定为预设语句;
在检测到所述第一语句的字符数量不大于预设字符数量的情况下,从小于所述目标序号的语句中选取序号最大且字符数量大于预设字符数量的第二语句确定为预设语句。
3.根据权利要求1所述的数据处理方法,其特征在于,所述第一预设模型为第一预设编解码模型,所述将作为训练数据的所述待训练文本以及作为标签数据的所述预设语句输入至第一预设模型进行迭代训练,输出第一目标语句向量的步骤,包括:
将所述待训练文本输入第一预设编解码模型,输出对应的第三语句;
将所述预设语句作为标签数据,计算所述第三语句的对应的编码向量和所述预设语句对应的编码向量之间的第二差异;
基于所述第二差异对所述第一预设编解码模型的模型参数进行迭代调节,直至根据所述第二差异确定第二模型收敛;
将所述待训练文本输入第二模型收敛后的第一预设编码模型,输出对应的第四语句,并将所述第四语句对应的编码向量确定为第一目标语句向量。
4.根据权利要求3所述的数据处理方法,其特征在于,所述第二预设模型为第二预设编解码模型,所述将作为训练数据的所述上文摘要语句集和下文摘要语句集以及作为标签数据的所述预设语句输入至第二预设模型进行迭代训练,输出第二目标语句向量的步骤,包括:
将所述上文摘要语句集和下文摘要语句集输入第二预设编解码模型,输出对应的第五语句;
将所述预设语句作为标签数据,计算所述第五语句的对应的编码向量和所述预设语句对应的编码向量之间的第三差异;
基于所述第三差异对所述第二预设编解码模型的模型参数进行迭代调节,直至根据所述第三差异确定第三模型收敛;
将所述上文摘要语句集和下文摘要语句集输入第三模型收敛后的第二预设编码模型,输出对应的第六语句,并将所述第六语句对应的编码向量确定为第二目标语句向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于马上消费金融股份有限公司,未经马上消费金融股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111435202.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种飞机倒飞状态的仿真模型构建方法
- 下一篇:一种检测污水管堵塞的防堵装置