[发明专利]基于卷积神经网络的数据增广方法及装置

权利要求书

1.基于卷积神经网络的数据增广方法，其特征在于，该方法包括：

第一步骤，将已标记车牌信息的图像作为输入图像，输入到数据增广网络；其中

所述数据增广网络包括：数据产生器和数据判别器；

第二步骤，采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的特征图、先验约束图像和约束特征向量，并采用拼接特征向量获取步骤进行通道拼接，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；

第三步骤，采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛，得到收敛的增广数据网络；

第四步骤，将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像并输出；

其中，所述已标记车牌信息的样本图像包括：含有标记车牌号的车牌区域图像；所述数据产生器中包括三级CCGAN，分别是第一层级CCGAN、第二层级CCGAN、第三层级CCGAN；

进一步地，所述拼接特征向量获取步骤包括：

每一层级特征图获取步骤，对于第i层级CCGAN，将第i层级下采样图像Pyr_i输入第i层级残差网络Res_i中进行特征提取，获取维度为N_Pi*C_Pi*W_Pi*H_Pi的第i层级特征图Tens_Pi，其中N_Pi为第i层级特征图Tens_Pi的个数，W_Pi和H_Pi分别为第i层级特征图Tens_Pi的宽度和高度，C_Pi为第i层级特征图Tens_Pi对应的通道数；

每一层级先验约束图像获取步骤，将第i层级的先验约束信息Info_i-1输入第i层级残差网络Res_i中进行特征提取，获取维度为N_Ii*C_Ii*W_Ii*H_Ii的第i层级先验约束图像Tens_Ii，其中N_Ii为第i层级先验约束图像Tens_Ii的个数，W_Ii和H_Ii分别为第i层级先验约束图像Tens_Ii的宽度和高度，C_Ii为第i层级先验约束图像Tens_Ii对应的通道数；

每一层级约束特征向量获取步骤，将输入图像Img所对应的标定信息进行独热编码，得到独热编码向量，并经过1*1的卷积操作，以获得维度为N_Li*C_Li*W_Li*H_Li的第i层级约束特征向量Cond_i，其中N_Li为第i层级约束特征向量Cond_i的个数，W_Li和H_Li分别为第i层级约束特征向量Cond_i的宽度和高度，W_Li和H_Li分别与第i层级先验约束图像Tens_Ii的宽度W_Ii和高度H_Ii相同，C_Li为第i层级约束特征向量Cond_i对应的通道数；

特征向量拼接步骤，对于第i层级CCGAN，对第i层级特征图Tens_Pi、第i层级先验约束图像Tens_Ii、第i层级约束特征向量Cond_i进行尺度拼接，得到维度为(N_Pi+N_Ii+N_Li)*C_Bi*W_Bi*H_Bi的第i层级拼接特征向量Tens_PILi，其中W_Bi和H_Bi分别为第i层级拼接特征向量Tens_PILi的宽度和高度，C_Bi为第i层级拼接特征向量Tens_PILi对应的通道数。