[发明专利]基于训练数据相似度聚合的模型加速训练方法及装置在审
申请号: | 202110021199.6 | 申请日: | 2021-01-08 |
公开(公告)号: | CN112733932A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 张乐平;侯磊;张博;李海峰;王光曦 | 申请(专利权)人: | 北京匠数科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/08 |
代理公司: | 北京盛凡佳华专利代理事务所(普通合伙) 11947 | 代理人: | 王翠 |
地址: | 100036 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 训练 数据 相似 聚合 模型 加速 方法 装置 | ||
1.基于训练数据相似度聚合的模型加速训练方法,其特征在于,包括以下步骤:
步骤一、随机提取全部训练数据中第一预设比例的图像作为本轮训练数据;
步骤二、对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证,更新图像分类模型的参数;
步骤三、采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理,并提取推理结果中与标注不符的训练数据,当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理;
步骤四、将步骤三中所述提取的推理结果中与标注不符的训练数据进行相似度聚合;对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据;
步骤五、将步骤四提取的第二预设比例的训练数据图像与上一训练轮次的图像组合,打乱次序后作为更新后的训练数据集。
2.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法,其特征在于,将更新后的所述训练数据集作为下一训练轮次的训练数据;重复步骤二至步骤五,使每一轮次的训练数据逐次递增,直到训练完预设轮次得到最终图像分类模型。
3.根据权利要求2所述的基于训练数据相似度聚合的模型加速训练方法,其特征在于,当执行第二轮次的数据训练时,将步骤四提取的第二预设比例的训练数据图像与步骤一中的第一预设比例的图像组合形成第二轮次的训练数据集。
4.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法,其特征在于,所述步骤一中,随机提取全部训练数据1/10的图像作为第一轮次的训练数据。
5.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法,其特征在于,步骤二中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。
6.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法,其特征在于,步骤三中,采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理,且剩余训练数据中的图像全部完成时停止前向推理。
7.根据权利要求1所述的基于训练数据相似度聚合的模型加速训练方法,其特征在于,步骤四中,相似度聚合采用K-均值聚类算法。
8.基于训练数据相似度聚合的模型加速训练装置,采用如权利要求1至7任一项的基于训练数据相似度聚合的模型加速训练方法,其特征在于,包括:
训练数据提取模块,用于随机提取全部训练数据中第一预设比例的图像作为本轮训练数据;
模型训练模块,用于对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证,更新图像分类模型的参数;
前向推理模块,用于采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理,并提取推理结果中与标注不符的训练数据,当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理;
相似度聚合模块,用于将前向推理模块中所述提取的推理结果中与标注不符的训练数据进行相似度聚合;
训练数据再提取模块,用于对相似度聚合后的每个类别提取第二预设比例的训练数据图像作为下一个轮次的训练数据;
训练数据组合模块,用于将训练数据再提取模块中提取的第二预设比例的训练数据图像与上一训练轮次的图像组合,打乱次序后作为更新后的训练数据集。
9.根据权利要求8所述的基于训练数据相似度聚合的模型加速训练装置,其特征在于,训练数据提取模块随机提取全部训练数据1/10的图像作为第一轮次的训练数据;
模型训练模块中的模型训练算法采用梯度下降法、牛顿算法、共轭梯度法、准牛顿法或Levenberg-Marquardt算法中的一种或多种。
10.根据权利要求8所述的基于训练数据相似度聚合的模型加速训练装置,其特征在于,前向推理模块中,采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理,且剩余训练数据中的图像全部完成时停止前向推理;
相似度聚合模块中,相似度聚合采用K-均值聚类算法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京匠数科技有限公司,未经北京匠数科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110021199.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置