[发明专利]对话生成方法及装置有效
申请号: | 201910537494.X | 申请日: | 2019-06-20 |
公开(公告)号: | CN110245224B | 公开(公告)日: | 2021-08-10 |
发明(设计)人: | 张荣升;席亚东;毛晓曦;范长杰 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 朱颖;刘芳 |
地址: | 310052 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 对话 生成 方法 装置 | ||
1.一种对话生成方法,其特征在于,应用于对话生成系统,包括:
获取对话信息,所述对话信息包括对话语句和对话场景标识;
获取与所述对话场景标识对应的目标参数值,其中,所述目标参数值为预设模型的参数值,所述预设模型可适用于多个对话场景;
通过采用所述目标参数值的预设模型对所述对话语句进行处理,确定所述对话语句对应的答复语句;
返回所述对话语句对应的答复语句;
所述获取与所述对话场景标识匹配的目标参数值之前,还包括:
通过生成性预训练GPT模型对文本语料进行预训练处理,确定中间参数值,所述中间参数值为所述GPT模型的参数值;
获取样本对话场景中的样本对话,根据所述样本对话场景中的样本对话和具有所述中间参数值的GPT模型,确定样本参数值和所述样本参数值的标识与所述样本对话场景的标识的对应关系,所述样本对话包括样本对话语句、样本答复语句和样本对话场景标识;
根据所述样本参数值更新所述GPT模型,得到所述预设模型。
2.根据权利要求1所述的方法,其特征在于,所述通过生成性预训练GPT模型对文本语料进行预训练处理,确定中间参数值,包括:
对所述文本语料进行语句划分处理,确定M组语句,每组语句包括至少一个句子;
通过所述GPT模型对所述M组语句同时进行N次预训练处理,得到所述GPT模型的N组损失值,每组损失值包括M个损失值,每个所述损失值各自对应一组语句以及候选中间参数值;
根据所述每组损失值所包括的M个损失值,获取每组损失值对应的平均损失值;
根据所述每组损失值对应的平均损失值和所述候选中间参数值,确定所述中间参数值,其中,M和N为大于或者等于1的整数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述每组损失值对应的平均损失值和所述候选中间参数值,确定所述中间参数值,包括:
在所述每组损失值对应的平均损失值中确定最小平均损失值;
获取所述最小平均损失值所在的目标损失值组;
在所述目标损失值组中确定最小损失值;
将所述最小损失值对应的候选中间参数值,确定为所述中间参数值。
4.根据权利要求1所述的方法,其特征在于,所述获取样本对话场景中的样本对话,根据所述样本对话场景中的样本对话和具有所述中间参数值的GPT模型,确定样本参数值和所述样本参数值的标识与所述样本对话场景的标识的对应关系,包括:
根据预设拼接规则,对所述样本对话场景的标识和所述样本对话场景中的样本对话进行拼接处理,得到P组拼接对话;
通过具有所述中间参数值的GPT模型,对所述P组拼接对话同时进行Q次训练处理,得到具有所述中间参数值的GPT模型的Q组损失值,每组损失值包括P个损失值,所述P个损失值各自对应一组拼接对话以及候选样本参数值,每个候选样本参数值具有标识;
根据所述Q组损失值各自所包括的P个损失值,获取所述Q组损失值各自对应的平均损失值;
根据所述Q组损失值各自对应的平均损失值和所述每个候选样本参数值确定所述样本参数值,根据所述样本对话场景的标识、每个候选样本参数值的标识,确定所述样本参数值的标识与所述样本对话场景的标识的对应关系,其中,P和Q为大于或者等于1整数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述Q组损失值各自对应的平均损失值和所述每个候选样本参数值确定所述样本参数值,根据所述样本对话场景的标识、每个候选样本参数值的标识,确定所述样本参数值的标识与所述样本对话场景的标识的对应关系,包括:
在所述Q组损失值各自对应的平均损失值中确定最小平均损失值;
获取所述最小平均损失值所在的目标损失值组;
在所述目标损失值组中确定最小损失值;
将所述最小损失值对应的候选样本参数值,确定为所述样本参数值,将所述最小损失值对应的候选样本参数值的标识,确定为所述样本参数值的标识,
存储所述样本参数的标识和样本对话场景的标识,得到所述样本参数值的标识与所述样本对话场景的标识的对应关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910537494.X/1.html,转载请声明来源钻瓜专利网。