[发明专利]模型训练超参优化处理方法、系统、设备及存储介质

说明书

本申请实施例涉及一种模型训练超参优化处理方法、系统、设备及介质，涉及机器学习技术领域，该模型训练超参优化处理方法包括：确定目标数据集对应的目标画像特征信息；依据所述目标画像特征信息，确定与所述目标数据集相匹配的目标历史数据集；基于所述目标历史数据集对应的收敛超参联合分布信息，对所述目标数据集进行超参调优处理，得到所述目标数据集对应的调优参数结果；本申请实施例能够提升超参优化的收敛速度，节省算力资源。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种模型训练超参优化处理方法、系统、设备及存储介质。

背景技术

在机器学习技术领域中，算法模型的训练通常需要配置诸如训练轮数、学习率、批处理大小、优化器、损失函数等超参数。

对于不同特点的数据集，最优的超参数组合往往会有不同，因此业内通常使用超参调优策略对超参数组合进行一轮轮的迭代优化。贝叶斯优化是最为常见有效的一种超参调参策略。传统的贝叶斯优化是指在第一轮优化时，随机初始化一批超参数组合，得到评测指标后，在接下来每一轮迭代前，根据已收集的所有超参数组合和每个超参数组合对应的指标反馈，计算下一轮的超参数组合生成的联合概率分布。因为每一份数据集启动超参调优的第一轮，都是随机初始化超参数组合，相当于零经验的冷启动，所以往往需要迭代很多轮才能达到满意的优化效果，白白浪费掉宝贵的算力资源。

发明内容

有鉴于此，本申请提供了一种模型训练超参优化处理方法、系统、设备及存储介质，以实现热启动超参调优，解决现有技术中采用零经验的冷启动所导致的超参调优收敛速度慢问题。

第一方面，本申请提供了一种模型训练超参优化处理方法，包括：

获取目标数据集；

对所述目标数据集进行画像特征计算处理，得到目标画像特征信息；

依据所述目标画像特征信息，确定与所述目标数据集相匹配的目标历史数据集；

基于所述目标历史数据集对应的收敛超参联合分布信息，对所述目标数据集进行超参调优处理，得到所述目标数据集对应的调优参数结果。

可选的，所述对所述目标数据集进行画像特征计算处理，得到目标画像特征信息，包括：

依据所述目标数据集所属的数据集领域，确定目标领域特征；

依据所述目标数据集中的标签数据进行配对组合处理，得到每对标签数据的字符相似系数距离，并基于所述字符相似系数距离的平均值确定所述目标数据集的标签相似度特征；

依据所述目标数据集中的样本数据，结合预设的标准化参数进行计算处理，得到目标标准化特征，所述标准化参数包含所述历史数据集对应的标准差参数和均值参数；

依据所述目标领域特征、所述标签相似度特征以及所述目标标准化特征进行拼接处理，得到目标画像特征信息。

可选的，所述目标标准化特征包含样本条数特征、样本长度中位数特征和词频长尾分布特征值中的至少一种。

可选的，依据所述目标画像特征信息，确定与所述目标数据集相匹配的目标历史数据集，包括：

基于所述目标画像特征信息，确定数据库中每一份历史数据集对应的匹配度；

基于所述数据库中每一份历史数据集对应的匹配度，确定匹配度阈值；

将匹配度阈值对应的历史数据集确定为目标历史数据集。

可选的，基于所述目标画像特征信息，确定数据库中每一份历史数据集对应的匹配度，包括：

针对所述数据库中的每一份历史数据集，将所述历史数据集对应的画像特征信息与所述目标画像特征信息进行余弦距离计算，得到每一份历史数据集对应的特征余弦距离；