[发明专利]文本处理方法、装置、存储介质及电子设备在审
申请号: | 202210090009.0 | 申请日: | 2022-01-25 |
公开(公告)号: | CN114443815A | 公开(公告)日: | 2022-05-06 |
发明(设计)人: | 张嘉益 | 申请(专利权)人: | 北京小米移动软件有限公司;北京小米松果电子有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06F40/211;G06F40/247;G06F40/30;G06K9/62;G06N3/02 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 张岩龙 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 处理 方法 装置 存储 介质 电子设备 | ||
本公开涉及一种文本处理方法、装置、存储介质及电子设备。该方法包括:获取待处理语句文本;将待处理语句文本输入训练好的文本生成模型,得到文本生成模型输出的对待处理语句文本进行泛化后的目标语句文本;其中,该文本生成模型用于获取与待处理语句文本对应的目标注意力参数,并根据该目标注意力参数,对待处理语句文本进行泛化处理。这样,根据目标注意力参数可以提高对语句泛化的灵活性和多样性,从而提高泛化后目标语句文本的丰富度,将该方法应用到人机对话等领域,可以避免回复内容单一、重复度高的问题,提高机器人答复的语句丰富度。
技术领域
本公开涉及人工智能技术领域,具体地,涉及一种文本处理方法、装置、存储介质及电子设备。
背景技术
自然语言处理(Nature Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向,自然语言处理技术是研究计算机理解和处理人类语言的技术,能够实现人与计算机之间用自然语言进行有效通信。自然语言处理的对象是人类语言文本,具体的应用方式包括人机对话、智能辅助写作、机器翻译、文本分类等。
在人机对话中,机器人可以通过预设的回复语料与人类进行对话,但是在相关技术中,机器人进行人机对话的回复语料有限,内容单一。
发明内容
为克服相关技术中存在的上述问题,本公开提供一种文本处理方法、装置、存储介质及电子设备。
根据本公开实施例的第一方面,提供一种文本处理方法,所述方法包括:
获取待处理语句文本;
将所述待处理语句文本输入训练好的文本生成模型,得到所述文本生成模型输出的对所述待处理语句文本进行泛化后的目标语句文本;
其中,所述文本生成模型用于获取与所述待处理语句文本对应的目标注意力参数,并根据所述目标注意力参数,对所述待处理语句文本进行泛化处理。
在一些实施例中,所述文本生成模型用于通过以下步骤执行根据所述目标注意力参数,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本包括:
根据所述目标注意力参数、第一预设注意力参数和目标泛化模式,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本;所述目标泛化模式包括语义泛化模式、语句文本结构泛化模式和句式泛化模式中的一种或多种。
在一些实施例中,所述目标注意力参数包括语义字符指示参数,所述语义字符指示参数用于确定所述待处理语句文本中的语义类字符;所述根据所述目标注意力参数、第一预设注意力参数和目标泛化模式,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本包括:
在所述目标泛化模式包括语义泛化模式的情况下,根据所述语义字符指示参数和所述第一预设注意力参数,对所述待处理语句文本进行泛化编码,得到所述待处理语句文本对应的第一编码向量;
对所述第一编码向量进行解码处理,得到所述目标语句文本。
在一些实施例中,所述目标注意力参数包括结构字符指示参数,所述结构字符指示参数用于确定所述待处理语句文本中的结构类字符;所述根据所述目标注意力参数、第一预设注意力参数和目标泛化模式,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本包括:
在所述目标泛化模式包括语句文本结构泛化模式的情况下,根据所述结构字符指示参数和所述第一预设注意力参数,对所述待处理语句文本进行泛化编码,得到所述待处理语句文本对应的第二编码向量;
对所述第二编码向量进行解码处理,得到所述目标语句文本。
在一些实施例中,所述根据所述目标注意力参数、第一预设注意力参数和目标泛化模式,对所述待处理语句文本进行泛化处理,得到泛化后的目标语句文本包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京小米移动软件有限公司;北京小米松果电子有限公司,未经北京小米移动软件有限公司;北京小米松果电子有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210090009.0/2.html,转载请声明来源钻瓜专利网。