[发明专利]数据增强策略的生成方法、数据增强方法和装置在审
申请号: | 201911093964.4 | 申请日: | 2019-11-08 |
公开(公告)号: | CN110807109A | 公开(公告)日: | 2020-02-18 |
发明(设计)人: | 陈龙;杜俭峰;倪煜 | 申请(专利权)人: | 北京金山云网络技术有限公司;北京金山云科技有限公司 |
主分类号: | G06F16/51 | 分类号: | G06F16/51;G06F16/55;G06K9/62 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 何少岩 |
地址: | 100000 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 增强 策略 生成 方法 装置 | ||
本发明提供了一种数据增强策略的生成方法、数据增强方法和装置,方法包括:获取到训练数据和验证数据后,通过策略生成器输出数据增强策略,通过该数据增强策略对训练数据进行数据增强处理,并采用增强处理后的训练数据对待训练网络进行训练,再通过验证数据对训练后的网络进行验证,并根据得到的验证结果调整策略生成器中的参数;循环执行上述步骤直至满足预设条件,进而得到最终的数据增强策略。该方法引入贝叶斯优化的方式来搜索数据增强策略,在搜索过程中,策略生成器基于历史验证结果预测出数据增强策略,进而在后续验证过程中不断调整策略生成器的参数,最终得到最优的数据增强策略,该方式降低了搜索最优策略的实施难度,节约了计算成本。
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种数据增强策略的生成方法、数据增强方法和装置。
背景技术
深度学习任务通常需要大量的数据。为了获得这些大量的数据,可以利用一些计算机视觉的方法,在现有的图片数据上进行一些变换,来获得与原始数据高度相关的等价新数据,这种方法被称为数据增强。相关技术中,在选择图片数据的增强策略时,大多采用强化学习的方式搜索最优策略,但通常需要上万次迭代才能收敛,得到最优结果,导致该方式实施难度较大,计算成本较高。
发明内容
本发明的目的在于提供一种数据增强策略的生成方法、数据增强方法和装置,以降低搜索最优策略的实施难度,节约计算成本。
第一方面,本发明提供的一种数据增强策略的生成方法,所述方法包括:基于预设的数据集合确定训练数据和验证数据;通过预设的策略生成器输出数据增强策略;通过所述数据增强策略对所述训练数据进行数据增强处理,得到增强处理后的训练数据;采用所述增强处理后的训练数据对预设的待训练网络进行训练,得到训练后的网络;通过所述验证数据对所述训练后的网络进行验证,得到验证结果;根据所述验证结果调整所述策略生成器中的参数;继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤,直至满足预设条件,将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。
进一步的,基于预设的数据集合确定训练数据和验证数据的步骤,包括:从预设的数据集合中随机选取预设数量的样本数据;按照预设的划分比例,将所述样本数据划分为训练数据和验证数据。
进一步的,所述数据增强策略包括至少一种数据增强方式、以及所述数据增强方式对应的参数;所述数据增强方式包括空间几何变换方式和/或颜色变换方式。
进一步的,所述策略生成器中包括基于贝叶斯建立的拟合函数;所述拟合函数用于表征数据增强策略与历史验证结果的关系;所述通过预设的策略生成器输出数据增强策略的步骤,包括:获取预设的目标验证结果;将所述目标验证结果输入至所述拟合函数中,输出所述目标验证结果对应的数据增强策略。
进一步的,所述拟合函数包括第一子函数和第二子函数;所述第一子函数用于表征单一的数据增强方式中,不同参数与历史验证结果的关系;所述第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合,与历史验证结果的关系。
进一步的,根据所述验证结果调整所述策略生成器中的参数的步骤,包括:将当前验证结果更新至所述历史验证结果中;根据更新后的历史验证结果调整所述拟合函数,以使所述拟合函数表征数据增强策略与更新后的历史验证结果的关系。
第二方面,本发明提供的一种数据增强方法,所述方法包括:获取待处理数据;将所述待处理数据作为数据集合,按照上述第一方面所述的数据增强策略的生成方法生成数据增强策略;根据所述数据增强策略对所述待处理数据进行数据增强。
第三方面,本发明提供的一种数据增强策略的生成装置,所述装置包括:
确定模块,用于基于预设的数据集合确定训练数据和验证数据;
输出模块,用于通过预设的策略生成器输出数据增强策略;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司;北京金山云科技有限公司,未经北京金山云网络技术有限公司;北京金山云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911093964.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种棉被生产设备
- 下一篇:基于DSP的自动化电脑绣花控制系统及其控制方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置