[发明专利]文本生成模型训练方法和装置、文本生成方法和装置在审
申请号: | 202210721689.1 | 申请日: | 2022-06-17 |
公开(公告)号: | CN115099240A | 公开(公告)日: | 2022-09-23 |
发明(设计)人: | 念天磊;刘丽;阳锋 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06K9/62 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 生成 模型 训练 方法 装置 | ||
本公开提供了一种文本生成模型训练方法和装置,涉及人工智能技术领域,具体涉及深度学习、自然语言处理等技术领域,可应用于OCR等场景。具体实现方案为:从预先构建的文本样本集中选取文本样本;将文本样本输入预先构建的文本生成网络,得到文本生成网络输出的预测结果;基于预测结果,分别计算字粒度的语义相关损失和句粒度的匹配程度损失,语义相关损失用于表征预测结果与文本样本的真值在字级别的相似程度,匹配程度损失用于表征预设结果与文本样本的真值在句级别的匹配程度;计算文本生成网络的损失;基于文本生成网络的损失,训练得到对应文本生成网络的文本生成模型。该实施方式提高了模型的精度和多样性。
技术领域
本公开涉及人工智能技术领域,具体涉及深度学习、自然语言处理等技术领域,可应用于OCR等场景,尤其涉及一种文本生成模型训练方法和装置、文本生成方法和装置、电子设备、计算机可读介质以及计算机程序产品。
背景技术
现有文本模型在训练时依赖样本真值的引导,训练效果较好,但在实际预测时没有真值指导,模型效果会变得较差,可能出现曝光偏差问题的出现。
提供了一种文本生成模型训练方法和装置、电子设备、计算机可读介质以及计算机程序产品。
根据第一方面,提供了一种文本生成模型训练方法,该方法包括:从预先构建的文本样本集中选取文本样本;将文本样本输入预先构建的文本生成网络,得到文本生成网络输出的预测结果;基于预测结果,分别计算字粒度的语义相关损失和句粒度的匹配程度损失,语义相关损失用于表征预测结果与文本样本的真值在字级别的相似程度,匹配程度损失用于表征预设结果与文本样本的真值在句级别的匹配程度;基于语义相关损失和匹配程度损失,计算文本生成网络的损失;基于文本生成网络的损失,训练得到对应文本生成网络的文本生成模型。
根据第二方面,提供了一种文本生成方法,该方法包括:获取待处理素材;对待处理素材进行处理,得到待处理文本数据;将待处理文本数据输入如第一方面任一实现方式描述的方法生成的文本生成模型中,得到文本生成模型输出的待处理文本数据的文本生成结果。
根据第三方面,提供了一种文本生成模型训练装置,该装置包括:选取单元,被配置成从预先构建的文本样本集中选取文本样本;输入单元,被配置成将文本样本输入预先构建的文本生成网络,得到文本生成网络输出的预测结果;第一计算单元,被配置成基于预测结果,分别计算字粒度的语义相关损失和句粒度的匹配程度损失,语义相关损失用于表征预测结果与文本样本的真值在字级别的相似程度,匹配程度损失用于表征预设结果与文本样本的真值在句级别的匹配程度;第二计算单元,被配置成基于语义相关损失和匹配程度损失,计算文本生成网络的损失;训练单元,被配置成基于文本生成网络的损失,训练得到对应文本生成网络的文本生成模型。
根据第四方面,提供了一种文本生成装置,该装置包括:获取单元,被配置成获取待处理素材;处理单元,被配置成对待处理素材进行处理,得到待处理文本数据;得到单元,被配置成将待处理文本数据输入第三方面任一实现方式描述的装置生成的文本生成模型中,得到文本生成模型输出的待处理文本数据的文本生成结果。
根据第五方面,提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器,其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。
根据第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。
根据第七方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210721689.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种病灶图像的识别方法、装置、设备及可读存储介质
- 下一篇:集成磁性部件