[发明专利]一种训练语言模型的方法及系统有效
申请号: | 202010258562.1 | 申请日: | 2020-04-01 |
公开(公告)号: | CN111599349B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 沈华东 | 申请(专利权)人: | 云知声智能科技股份有限公司;厦门云知芯智能科技有限公司 |
主分类号: | G10L15/06 | 分类号: | G10L15/06;G06F40/30 |
代理公司: | 北京冠和权律师事务所 11399 | 代理人: | 张楠楠 |
地址: | 100000 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 训练 语言 模型 方法 系统 | ||
1.一种训练语言模型的方法,其特征在于,包括以下步骤:
对目标语言模型进行若干次测试,获取若干次测试结果;
对获取的所述若干次测试结果进行分析,获取所述目标语言模型的性能分析结果和所述目标语言模型的参数调节信息;
根据所述性能分析结果和所述参数调节信息对所述目标语言模型进行训练;
所述:对目标语言模型进行若干次测试,获取若干次测试结果;包括:
获取所述目标语言模型;
将多个不同的预设测试样本向所述目标语言模型传输,所述目标语言模型根据多个不同的所述预设测试样本生成多个不同的所述预设测试样本对应的多个输出结果;
将所述目标语言模型根据多个不同的所述预设测试样本生成的多个输出结果与多个不同的所述预设测试样本对应的标准结果进行比对,获取所述多个输出结果与多个不同的所述预设测试样本对应的标准结果之间的多个误差信息,并将所述多个误差信息作为所述若干次测试结果;
所述:对获取的所述若干次测试结果进行分析,获取所述目标语言模型的性能分析结果和所述目标语言模型的参数调节信息;包括:
获取多个所述预设测试样本和多个所述预设测试样本对应的测试结果;
对多个所述预设测试样本的长度、语义和语言种类进行分析,获取多个所述预设测试样本对应的多个复杂度信息;
根据多个所述预设测试样本的多个复杂度信息和多个所述预设测试样本对应的多个测试结果进行加权分析,获取所述目标语言模型的性能分析结果。
2.根据权利要求1所述的训练语言模型的方法,其特征在于,所述对目标语言模型进行若干次测试前,还包括:获取预设语言数据;根据所述预设语言数据生成目标语言模型;
所述根据所述预设语言数据生成目标语言模型;包括:
获取若干领域的语言数据库,其中,所述若干领域的语言数据库包括所述预设语言数据;
将所述预设语言数据进行划分处理,生成所述预设语言数据的多个元素;
将所述预设语言数据的多个元素与所述若干领域的语言数据库中的语言数据进行比对,获取所述若干领域的语言数据库中与所述预设语言数据的多个元素相似度最高的语言数据对应的语言数据库;
获取所述预设语言数据的多个元素的关联信息;
获取预设语言模型;
根据获取的相似度最高的语言数据对应的语言数据库和所述预设语言数据的多个元素的关联信息基于所述预设语言模型,生成所述目标语言模型。
3.根据权利要求2所述的训练语言模型的方法,其特征在于,
所述预设语言数据的多个元素,包括字、词以及句中的一种或多种;
所述预设语言数据的多个元素的关联信息,包括字与字、字与词、字与句、词与词、词与句以及句与句中的一种或多种。
4.根据权利要求1所述的训练语言模型的方法,其特征在于,所述:对获取的所述若干次测试结果进行分析,获取所述目标语言模型的性能分析结果和所述目标语言模型的参数调节信息;包括:
当所述目标语言模型的性能分析结果为性能稳定时,则停止获取所述目标语言模型的参数调节信息,并将所述目标语言模型输出显示。
5.根据权利要求4所述的训练语言模型的方法,其特征在于,所述:对获取的所述若干次测试结果进行分析,获取所述目标语言模型的性能分析结果和所述目标语言模型的参数调节信息;还包括:
当所述目标语言模型的性能分析结果为性能不稳定时,则根据所述若干次测试结果分析所述目标语言模型的误差原因,进一步获取所述目标语言模型的参数调节信息,并根据所述参数调节信息对所述目标语言模型进行训练;并对训练后的所述目标语言模型再次进行若干次测试,获取若干次测试结果;
对获取的所述若干次测试结果进行分析,获取所述目标语言模型的性能分析结果;当所述目标语言模型的性能分析结果为性能稳定时,则停止获取所述目标语言模型的参数调节信息,并将所述目标语言模型输出显示;
当所述目标语言模型的性能分析结果为性能不稳定时,则根据所述若干次测试结果分析所述目标语言模型的误差原因,获取所述目标语言模型的参数调节信息,再次根据所述参数调节信息对所述目标语言模型进行训练,重复上述步骤,直至所述目标语言模型的性能分析结果为性能稳定时,将所述目标语言模型输出显示。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云知声智能科技股份有限公司;厦门云知芯智能科技有限公司,未经云知声智能科技股份有限公司;厦门云知芯智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010258562.1/1.html,转载请声明来源钻瓜专利网。