[发明专利]文本处理方法、装置、存储介质及电子设备在审
申请号: | 202210090009.0 | 申请日: | 2022-01-25 |
公开(公告)号: | CN114443815A | 公开(公告)日: | 2022-05-06 |
发明(设计)人: | 张嘉益 | 申请(专利权)人: | 北京小米移动软件有限公司;北京小米松果电子有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06F40/211;G06F40/247;G06F40/30;G06K9/62;G06N3/02 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 张岩龙 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 处理 方法 装置 存储 介质 电子设备 | ||
1.一种文本处理方法,其特征在于,所述方法包括:
获取待处理语句文本;
将所述待处理语句文本输入训练好的文本生成模型,得到所述文本生成模型输出的对所述待处理语句文本进行泛化后的目标语句文本;
其中,所述文本生成模型用于获取与所述待处理语句文本对应的目标注意力参数,并根据所述目标注意力参数,对所述待处理语句文本进行泛化处理。
2.根据权利要求1所述的方法,其特征在于,所述文本生成模型用于通过以下步骤执行根据所述目标注意力参数,对所述待处理语句文本进行泛化处理:
根据所述目标注意力参数、第一预设注意力参数和目标泛化模式,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本;所述目标泛化模式包括语义泛化模式、语句文本结构泛化模式和句式泛化模式中的一种或多种。
3.根据权利要求2所述的方法,其特征在于,所述目标注意力参数包括语义字符指示参数,所述语义字符指示参数用于确定所述待处理语句文本中的语义类字符;所述根据所述目标注意力参数、第一预设注意力参数和目标泛化模式,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本包括:
在所述目标泛化模式包括语义泛化模式的情况下,根据所述语义字符指示参数和所述第一预设注意力参数,对所述待处理语句文本进行泛化编码,得到所述待处理语句文本对应的第一编码向量;
对所述第一编码向量进行解码处理,得到所述目标语句文本。
4.根据权利要求2所述的方法,其特征在于,所述目标注意力参数包括结构字符指示参数,所述结构字符指示参数用于确定所述待处理语句文本中的结构类字符;所述根据所述目标注意力参数、第一预设注意力参数和目标泛化模式,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本包括:
在所述目标泛化模式包括语句文本结构泛化模式的情况下,根据所述结构字符指示参数和所述第一预设注意力参数,对所述待处理语句文本进行泛化编码,得到所述待处理语句文本对应的第二编码向量;
对所述第二编码向量进行解码处理,得到所述目标语句文本。
5.根据权利要求2所述的方法,其特征在于,所述根据所述目标注意力参数、第一预设注意力参数和目标泛化模式,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本包括:
在所述目标泛化模式包括句式泛化模式的情况下,根据所述第一预设注意力参数,对所述待处理语句文本进行泛化编码,得到所述待处理语句文本对应的第三编码向量;
将所述第三编码向量输入预先训练的句式分类模型,得到所述待处理语句文本的当前句式;
在所述当前句式不是目标句式的情况下,根据所述目标句式,对所述第三编码向量进行解码处理,得到所述目标语句文本。
6.根据权利要求1所述的方法,其特征在于,所述文本生成模型包括目标注意力确定子模型,所述目标注意力确定子模型用于通过以下步骤执行获取与所述待处理语句文本对应的目标注意力参数:
根据第二预设注意力参数对所述待处理语句文本进行编码,得到所述待处理语句文本对应的第四编码向量;
将所述第四编码向量输入所述目标注意力确定子模型,确定所述待处理语句文本中的语义类字符和/或结构类字符;其中,所述目标注意力确定子模型为根据目标训练样本对预设神经网络模型进行训练得到的,所述目标训练样本为根据字符语义对多个语料样本中的字符进行分类标注后得到的;
根据所述语义类字符和/或结构类字符,确定所述目标注意力参数。
7.根据权利要求6所述方法,其特征在于,所述根据所述语义类字符和/或结构类字符,确定所述目标注意力参数包括:
在所述待处理语句文本中包括语义类字符的情况下,根据所述语义类字符确定所述语义字符指示参数,并根据所述语义字符指示参数获取所述目标注意力参数;
在所述待处理语句文本中包括结构类字符的情况下,根据所述结构类字符确定所述结构字符指示参数,并根据所述结构字符指示参数获取所述目标注意力参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京小米移动软件有限公司;北京小米松果电子有限公司,未经北京小米移动软件有限公司;北京小米松果电子有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210090009.0/1.html,转载请声明来源钻瓜专利网。