[发明专利]模型训练超参优化处理方法、系统、设备及存储介质在审
申请号: | 202210980959.0 | 申请日: | 2022-08-16 |
公开(公告)号: | CN115293278A | 公开(公告)日: | 2022-11-04 |
发明(设计)人: | 简仁贤;李龙威;马永宁 | 申请(专利权)人: | 竹间智能科技(上海)有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F40/216 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 田然 |
地址: | 200233 上海市徐*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 训练 优化 处理 方法 系统 设备 存储 介质 | ||
1.一种模型训练超参优化处理方法,其特征在于,包括:
获取目标数据集;
对所述目标数据集进行画像特征计算处理,得到目标画像特征信息;
依据所述目标画像特征信息,确定与所述目标数据集相匹配的目标历史数据集;
基于所述目标历史数据集对应的收敛超参联合分布信息,对所述目标数据集进行超参调优处理,得到所述目标数据集对应的调优参数结果。
2.根据权利要求1所述的模型训练超参优化处理方法,其特征在于,所述对所述目标数据集进行画像特征计算处理,得到目标画像特征信息,包括:
依据所述目标数据集所属的数据集领域,确定目标领域特征;
依据所述目标数据集中的标签数据进行配对组合处理,得到每对标签数据的字符相似系数距离,并基于所述字符相似系数距离的平均值确定所述目标数据集的标签相似度特征;
依据所述目标数据集中的样本数据,结合预设的标准化参数进行计算处理,得到目标标准化特征,所述标准化参数包含所述历史数据集对应的标准差参数和均值参数;
依据所述目标领域特征、所述标签相似度特征以及所述目标标准化特征进行拼接处理,得到所述目标画像特征信息。
3.根据权利要求2所述的模型训练超参优化处理方法,其特征在于,所述目标标准化特征包含样本条数特征、样本长度中位数特征和词频长尾分布特征中的至少一种。
4.根据权利要求1所述的模型训练超参优化处理方法,其特征在于,依据所述目标画像特征信息,确定与所述目标数据集相匹配的目标历史数据集,包括:
基于所述目标画像特征信息,确定数据库中每一份历史数据集对应的匹配度;
基于所述数据库中每一份历史数据集对应的匹配度,确定匹配度阈值;
将匹配度阈值对应的历史数据集确定为目标历史数据集。
5.根据权利要求4所述的模型训练超参优化处理方法,其特征在于,基于所述目标画像特征信息,确定数据库中每一份历史数据集对应的匹配度,包括:
针对所述数据库中的每一份历史数据集,将所述历史数据集对应的画像特征信息与所述目标画像特征信息进行余弦距离计算,得到每一份历史数据集对应的特征余弦距离;
基于所述特征余弦距离,确定所述匹配度。
6.根据权利要求4所述的模型训练超参优化处理方法,其特征在于,所述确定目标数据集对应的目标画像特征信息之前,还包括:
收集至少一份历史数据集,并确定每一份所述历史数据集的画像特征信息;
基于随机初始化的超参组合信息,对每一份所述历史数据集进行贝叶斯超参调优处理,得到每一份所述历史数据集对应的收敛超参联合分布信息;
将所述历史数据集、所述历史数据集对应的所述收敛超参联合分布信息以及所述画像特征信息关联存储到所述数据库。
7.根据权利要求1至6任一所述的模型训练超参优化处理方法,其特征在于,所述基于所述目标历史数据集对应的收敛超参联合分布信息,对所述目标数据集进行超参调优处理,得到所述目标数据集对应的调优参数结果,包括:
获取所述目标历史数据集对应的收敛超参联合分布信息;
将所述收敛超参联合分布信息作为起始超参联合分布信息;
基于所述起始超参联合分布信息,对所述目标数据集进行贝叶斯超参调优处理,得到所述目标数据集对应的收敛超参联合分布信息;
将所述目标数据集对应的收敛超参联合分布信息,确定为所述调优参数结果。
8.一种模型训练超参优化处理系统,其特征在于,包括:
数据集获取模块,用于获取目标数据集;
目标画像特征模块,用于对所述目标数据集进行画像特征计算处理,得到目标画像特征信息;
目标历史数据集模块,用于依据所述目标画像特征信息,确定与所述目标数据集相匹配的目标历史数据集;
超参调优处理模块,用于基于所述目标历史数据集对应的收敛超参联合分布信息,对所述目标数据集进行超参调优处理,得到所述目标数据集对应的调优参数结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于竹间智能科技(上海)有限公司,未经竹间智能科技(上海)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210980959.0/1.html,转载请声明来源钻瓜专利网。