[发明专利]文本处理、问答文本处理及文本处理模型训练方法在审
申请号: | 202211674486.8 | 申请日: | 2022-12-26 |
公开(公告)号: | CN116050405A | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 戴翼;郎皓;李永彬 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F18/213;G06F18/214 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 311121 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 处理 问答 模型 训练 方法 | ||
1.一种文本处理方法,包括:
对待处理文本进行特征提取,获得所述待处理文本的文本特征;
利用所述文本特征,匹配所述待处理文本对应的多个目标提示信息,其中,所述多个目标提示信息的粒度不同;
将所述文本特征和所述多个目标提示信息输入文本处理模型,经所述文本处理模型的处理,获得文本处理结果,其中,所述文本处理模型基于多个训练样本文本和各训练样本文本对应的训练样本提示信息训练得到。
2.根据权利要求1所述的方法,所述对待处理文本进行特征提取,获得所述待处理文本的文本特征,包括:
将所述待处理文本输入文本编码器中,经所述文本编码器的编码处理,获得所述待处理文本的文本特征。
3.根据权利要求1所述的方法,所述利用所述文本特征,匹配所述待处理文本对应的多个目标提示信息,包括:
获取多个候选提示信息,其中,所述候选提示信息包括候选任务提示信息和候选元提示信息;
根据所述文本特征和所述多个候选提示信息之间的特征相似度,确定所述待处理文本对应的目标任务提示信息和目标元提示信息。
4.根据权利要求1所述的方法,所述多个目标提示信息包括目标全局提示信息和目标形式提示信息;所述利用所述文本特征,匹配所述待处理文本对应的多个目标提示信息,包括:
获取预先设置的目标全局提示信息;
对所述待处理文本进行分析,确定所述待处理文本的文本形式;
根据所述文本形式,确定所述待处理文本对应的目标形式提示信息。
5.根据权利要求3所述的方法,所述获取多个候选提示信息,包括:
获取第一样本集,其中,所述第一样本集包括多个样本文本,所述多个样本文本携带的任务属性不同;
从所述多个样本文本中提取第一样本文本,其中,所述第一样本文本为所述多个样本文本中的任一个;
根据所述第一样本文本携带的第一任务属性,从所述多个样本文本中筛选负样本文本,其中,所述负样本文本的任务属性与所述第一任务属性不同;
根据所述第一样本文本、所述负样本文本以及所述第一样本文本对应的第一样本任务提示信息,计算任务提示损失;
根据所述任务提示损失,对所述第一样本任务提示信息进行优化,并返回执行所述从所述多个样本文本中提取第一样本文本的步骤,直至达到预设停止条件,获得候选任务提示信息。
6.根据权利要求3所述的方法,所述获取多个候选提示信息,包括:
对多个样本文本进行特征提取,获得所述多个样本文本的样本文本特征;
根据所述多个样本文本的样本文本特征和样本元提示信息,计算第一元提示损失;
根据所述第一元提示损失,对所述样本元提示信息进行优化,直至达到预设停止条件,获得候选元提示信息。
7.根据权利要求6所述的方法,所述根据所述第一元提示损失,对所述样本元提示信息进行优化,直至达到预设停止条件,获得候选元提示信息之前,还包括:
对多个样本文本特征进行聚类,确定至少一个聚类中心特征;
根据所述多个样本文本特征、所述多个样本文本的样本元提示信息和所述至少一个聚类中心特征,计算第二元提示损失;
所述根据所述第一元提示损失,对所述样本元提示信息进行优化,直至达到预设停止条件,获得候选元提示信息,包括:
根据所述第一元提示损失和第二元提示损失,对所述样本元提示信息进行优化,直至达到预设停止条件,获得候选元提示信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211674486.8/1.html,转载请声明来源钻瓜专利网。