[发明专利]基于预训练模型的分布式文本模型训练方法、装置、终端设备在审
申请号: | 202111122155.9 | 申请日: | 2021-09-24 |
公开(公告)号: | CN113850322A | 公开(公告)日: | 2021-12-28 |
发明(设计)人: | 林玥煜;邓侃 | 申请(专利权)人: | 北京大数医达科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 北京唯智勤实知识产权代理事务所(普通合伙) 11557 | 代理人: | 孙姣 |
地址: | 100193 北京市海淀区东北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 训练 模型 分布式 文本 方法 装置 终端设备 | ||
1.一种基于预训练模型的分布式文本模型训练方法,包括:
获取训练数据集,其中,所述训练数据集中的训练数据包括训练源文本和对应于训练源文本的训练目标文本;
基于所述训练数据集,生成输入适配参数集和输入适配数据集;
将所述输入适配数据集发送至第一终端;
接收所述第一终端发回的输出适配数据集,其中,所述第一终端基于所述输入适配数据集,利用预先确定的预训练模型生成所述输出适配数据集;
基于所述输出适配数据集和所述训练数据集,生成输出适配参数集;
将所述输入适配参数集和所述输出适配参数集的集合确定为初始目标模型;
基于所述训练数据集和所述初始目标模型,生成目标模型,其中,所述目标模型包括目标输入适配参数集和目标输出适配参数集。
2.根据权利要求1所述的方法,其中,所述预先确定的预训练模型包括第一数目层神经网络结构,所述预先确定的预训练模型为文本生成模型。
3.根据权利要求2所述的方法,其中,所述方法还包括:
响应于接收到用户输入的操作指令,获取任务文本;
将所述任务文本输入所述目标模型,以得到任务结果文本;
将所述任务结果文本发送至目标终端,以及控制所述目标终端显示所述任务结果文本。
4.根据权利要求3所述的方法,其中,
所述基于所述训练数据集和所述初始目标模型,生成目标模型,包括:
从所述训练数据集中选取训练数据,以及执行以下训练步骤:
将选取的训练数据的训练源文本输入至初始目标模型,得到所述选取的训练数据的目标文本;
将所述选取的训练数据的目标文本与对应的训练目标文本进行比较;
根据比较结果确定所述初始目标模型是否达到预设的优化目标;
响应于确定所述初始目标模型达到所述优化目标,将所述初始目标模型确定为目标模型。
5.根据权利要求4所述的方法,其中,所述方法还包括:
响应于确定初始目标模型未训练完成,调整初始目标模型中的相关参数,以及从所述训练数据集中重新选取训练数据,使用调整后的初始目标模型作为初始目标模型,再次执行所述训练步骤。
6.根据权利要求5所述的方法,其中,所述方法还包括:
响应于接收到用户输入的重新训练指令,获取备选训练数据集;
基于所述备选训练数据集,生成备选输入适配参数集和备选输入适配数据集;
将所述备选输入适配数据集发送至所述第一终端;
接收所述第一终端发回的备选输出适配数据集,其中,所述第一终端基于所述备选输入适配数据集,利用预先确定的预训练模型生成所述备选输出适配数据集;
基于所述备选输出适配数据集和所述备选训练数据集,生成备选输出适配参数集;
将所述备选输入适配参数集和所述备选输出适配参数集的集合确定为初始备选目标模型;
基于所述备选训练数据集和所述初始备选目标模型,生成备选目标模型,其中,所述备选目标模型包括备选目标输入适配参数集和备选目标输出适配参数集。
7.根据权利要求6所述的方法,其中,所述第一终端基于所述输入适配数据集,利用预先确定的预训练模型生成所述输出适配数据集,包括:
将所述输入适配数据集输入预先确定的预训练模型,生成模型输出数据集,其中,所述模型输出数据集包括预训练模型从倒数第二数目层至最后一层的第二数目个层的输出数据集;
将所述模型输出数据集确定为所述输出适配数据集。
8.根据权利要求7所述的方法,其中,所述基于所述训练数据集,生成输入适配参数集和输入适配数据集,包括:
根据预先确定的预训练模型,将所述训练数据集转化为预先确定的预训练模型中的输入层和第二层对应的数据格式,以得到所述输入适配数据集,其中,所述输入适配数据集包括输入层格式输入适配数据集和第二层格式输入适配数据集;
利用所述训练数据集和所述输入适配数据集,生成所述输入适配参数集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大数医达科技有限公司,未经北京大数医达科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111122155.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:难处理金矿处理系统
- 下一篇:一种机顶盒信道自动测试系统及测试方法