[发明专利]基于卷积神经网络的数据增广方法及装置

说明书

本发明提供了一种基于卷积神经网络的数据增广方法，该方法包括：将已标记车牌信息的图像输入到数据增广网络，数据增广网络包括：数据产生器和数据判别器；采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛；将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像。与现有技术相比，能够改善车牌增广图像种类数目不均衡情况。

技术领域

本发明涉及图像处理、视频监控以及智慧交通，特别涉及基于卷积神经网络的数据增广方法及装置。

背景技术

随着卷积神经网络的日益发展，其在文字识别、车牌内容识别等相关领域已被广泛使用。

在用卷积神经网络解决实际问题时，训练数据的数量与质量是制约网络效果的一个瓶颈。对于一些类型小众或者采集难度较大的数据则需要进行数据增广操作以满足卷积神经网络的训练需求。

传统的数据增广方法有旋转、镜像、随机裁剪、增加噪声等操作，这种方法从本质上讲没有改变目标的种类，对于种类数目不均衡情况无法改善。

综上所述，目前迫切需要提出一种基于卷积神经网络的数据增广方法及装置。

发明内容

有鉴于此，本发明的主要目的在于实现车牌数据增广，可以改善车牌种类数目不均衡情况。

为达到上述目的，按照本发明的第一个方面，提供了一种基于卷积神经网络的数据增广方法，该方法包括：

第一步骤，将已标记车牌信息的图像作为输入图像，输入到数据增广网络；其中所述数据增广网络包括：数据产生器和数据判别器；

第二步骤，采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的特征图、先验约束图像和约束特征向量，并进行通道拼接，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；

第三步骤，采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛，得到收敛的增广数据网络；

第四步骤，将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像并输出。

其中，所述已标记车牌信息的样本图像包括：含有标记车牌号的车牌区域图像。

其中，所述数据产生器中包括三级CCGAN，分别是第一层级CCGAN、第二层级CCGAN、第三层级CCGAN。

进一步地，所述第二步骤包括：

三级金字塔下采样图像获取步骤，采用图像金字塔下采样，分别获取输入图像Img的第i层级下采样图像Pyr_i，i＝{1,2,3}；

第一层级CCGAN处理步骤，第一层级CCGAN的先验约束信息Info₀服从于正态分布随机噪声；采用拼接特征向量获取步骤，获取第一层级拼接特征向量Tens_PIL1；对第一层级拼接特征向量Tens_PIL1进行图像上采样操作，得到的图像作为第一层级CCGAN的输出图像I₁；对第一层级CCGAN的输出图像I₁进行卷积操作，得到的结果作为第二层级的先验约束信息Info₁；