[发明专利]一种自适应数据增强的二维人体姿态估计方法和系统

说明书

本发明公开了一种自适应数据增强的二维人体姿态估计方法和系统，属于计算机视觉和深度学习领域。本发明不同于将数据增强作为一个独立的数据预处理步骤的常规做法，将数据增强和用于执行计算机视觉任务的卷积神经网络的训练两个独立的过程联合起来，使得数据增强能跟随卷积神经网络的训练过程实现动态更新，自适应的根据具体数据集特点和应用任务产生数据增强操作的概率分布，产生对卷积神经网络优化更加有效的训练样本，提升卷积神经网络的训练效率，同时有效增强卷积神经网络的泛化能力；本发明以数据增强模块为生成器，以卷积神经网络为判别器，通过两者“博弈”实现共同优化，最终实现执行计算机视觉任务的卷积神经网络模型更优的表现。

技术领域

本发明属于计算机视觉和深度学习领域，更具体地，涉及一种自适应数据增强的计算机视觉任务执行方法和系统。

背景技术

从本质上说，深度学习是用复杂模型拟合大量数据的过程，数据的质量和数量是决定卷积神经网络模型泛化性能的重要因素。在使用深度学习方法解决具体计算机视觉任务时，训练样本不充足是一个普遍存在的障碍。一方面，数据集的制作需要花费高昂的成本；另一方面，通过数据增强增加数据的多样性可以有效缓解卷积神经网络在训练过程中的过拟合现象。因此，数据增强是深度学习中不可或缺的关键一环。

目前普遍采用的常规数据增强操作有颜色变化、几何变换、翻转、尺度缩放、添加噪声等，这些操作一定程度上模拟了现实场景中的视角、光线、尺度等方面的变换，因此可提升卷积神经网络的泛化性能。但是，常规数据增强操作作为卷积神经网络训练的数据预处理的步骤之一，独立于卷积神经网络训练过程，直接从静态分布中采样，是一种“盲目”的操作，会增加部分无关的数据，不能跟踪动态的卷积神经网络训练过程，导致卷积神经网络的训练效率不高。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种自适应数据增强的计算机视觉任务执行方法和系统，其目的在于解决常规数据增强是“盲目”的，会增加无关数据，不能自适应具体数据集特点和应用任务，导致训练效率不高的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种自适应数据增强的计算机视觉任务执行方法，包括：

S1.构建用于执行计算机视觉任务的卷积神经网络，并进行预训练得到卷积神经网络的预训练模型；

S2.构建数据增强模块，并进行预训练得到数据增强模块的预训练模型；所述数据增强模块的输入为卷积神经网络不同尺度的层间特征图，输出为数据增强操作的概率分布；

S3.以数据增强模块为生成器，以所述卷积神经网络作为判别器，采用奖励惩罚措施对数据增强模块与卷积神经网络进行联合优化；其中，卷积神经网络的预训练模型和数据增强模块的预训练模型作为联合优化的初始值；所述卷积神经网络根据数据增强模块生成的概率分布实施自适应数据增强操作；

S4.采用训练好的卷积神经网络和数据增强模块执行计算机视觉任务。

进一步地，数据增强模块包括：跨阶段瓶颈模块、池化层和全连接层；

数据增强模块对卷积神经网络不同尺度的层间特征图进行融合，融合后的特征图输入全连接层得到概率分布，在数据送入卷积神经网络进行训练之前，数据要根据此概率分布进行数据增强操作；其中，每两个相邻的层间特征图融合过程为：尺度较大的特征图通过跨阶段瓶颈模块提取特征后，通过池化层进行下采样，再与尺度较小的特征图经过跨阶段瓶颈模块提取得到的特征进行融合。

进一步地，对数据增强模块进行预训练，具体包括：

从m个有界高斯分布中采样，对应的采样概率为{p₁,p₂,…,p_m}，满足m表示设定的常数；

对每一个训练样本，根据采样结果进行数据增强操作，得到m个新的训练样本；