[发明专利]标注数据生成方法、设备及计算机可读存储介质有效
申请号: | 201810609646.8 | 申请日: | 2018-06-13 |
公开(公告)号: | CN108960409B | 公开(公告)日: | 2021-08-03 |
发明(设计)人: | 郑斌;徐晖 | 申请(专利权)人: | 南昌黑鲨科技有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06K9/62 |
代理公司: | 上海雍灏知识产权代理事务所(普通合伙) 31368 | 代理人: | 沈汶波 |
地址: | 330008 江西省南昌市青山*** | 国省代码: | 江西;36 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 标注 数据 生成 方法 设备 计算机 可读 存储 介质 | ||
本发明提供了一种标注数据生成方法、设备及计算机可读存储介质。标注数据生成方法,包括以下步骤:S100:获取数据全集及包含于数据全集内已被标注的标注数据集;S200:分析标注数据集的数据特征,并根据数据特征制造符合数据特征的伪数据集;S300:基于GAN神经网络对伪数据集扩充,形成扩充数据集;S400:识别对扩充数据集内的数据是否需要标注,筛选被标注的数据以形成训练数据集;S500:对训练数据集进行神经网络训练形成训练模型;S600:基于训练模型对数据全集内处标注数据集外的数据清洗,标注符合训练模型的数据并归入标注数据集内,从而,以少量数据作为基础,可快速高效地生成与样本数据匹配度高,且随机性强的训练数集,从而扩大标注数据的数据量。
技术领域
本发明涉及数据模型领域,尤其涉及一种标注数据生成方法、设备及计算机可读存储介质。
背景技术
随着应用程序在智能终端上的快速发展,以及基于应用程序,搭建的人工智能技术,已越来越广泛地走进人们的生活。不论是日常使用、游戏、工作等领域,都将需要基于原始样本数据的学习,了解在该领域的使用习惯,从而智能化地做出判断。
对于原始样本数据的学习,可采用深度神经网络技术。该深度神经网络技术在近几年发展迅速,在图像识别领域获得了远超预想的精度,在许多领域取得了喜人的应用。但是在实际工程应用中,许多特别的图像识别需求缺少可供训练的数据集,而深度神经网络的模型精度极大依赖于数据集的大小和质量。为解决训练数据缺少的情况,现有技术通常是对已有标注数据进行随机裁剪、旋转、拉伸、反转,但存在以下缺陷:
1、某些模型对应的原始图像数据长宽较小,随机裁剪所能扩展的数据数量有限。
2、当原始样本数据较少时,通过这些方法得到的数据由于特征不够分散容易使模型过拟合。
3、某些模型对数据拉伸敏感,拉伸后识别率降低较明显;
4、人工搜集并标注数据会耗费大量人力、精力。
因此,需要一种新型的标注数据生成方法,可在已标注样本数据较少的情况下,快速且大量地生成随机性较强的训练数集,简化训练数据的搜集和标注工作。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供一种标注数据生成方法、设备及计算机可读存储介质,以少量数据作为基础,快速高效地生成与样本数据匹配度高,且随机性强的训练数集,从而扩大标注数据的数据量。
本发明公开了一种标注数据生成方法,包括以下步骤:
S100:获取一数据全集及包含于所述数据全集内已被标注的标注数据集;
S200:分析所述标注数据集的数据特征,并根据所述数据特征制造符合所述数据特征的伪数据集;
S300:基于GAN神经网络对所述伪数据集扩充,形成一扩充数据集;
S400:识别对所述扩充数据集内的数据是否需要标注,筛选被标注的数据以形成一训练数据集;
S500:对所述训练数据集进行神经网络训练形成一训练模型;
S600:基于所述训练模型对所述数据全集内处所述标注数据集外的数据清洗,标注符合所述训练模型的数据并归入所述标注数据集内。
优选地,所述标注数据生成方法还包括以下步骤:
S700:判断所述标注数据集内的数据量是否大于或等于一期望数据量;
S800:当所述标注数据集内的数据量小于所述期望数据量时,取所述训练数据集及所述标注数据集的并集,并再次执行步骤S500-S600。
优选地,所述步骤S800替换为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南昌黑鲨科技有限公司,未经南昌黑鲨科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810609646.8/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置