[发明专利]一种使用神经网络鉴别商品真伪的方法

权利要求书

1.一种使用神经网络鉴别商品真伪的方法，其步骤是：

S1、采集商品图像并构建数据库；

其特征在于：

S2、对采集商品图案进行变形并构建训练库：

操作一，随机选取商品训练库内图片，沿水平轴以随机角度翻转，生成新的图像，保存至图像鉴别信息训练库；

操作二，随机选取商品训练库内图片，沿垂直轴以随机角度翻转，生成新的图像，保存至图像鉴别信息训练库；

操作三，随机选取商品训练库内图片，沿水平方向随机平移图像若干个像素，生成新的图像，保存至图像鉴别信息训练库；

操作四，随机选取商品训练库内图片，沿垂直方向随机平移图像若干个像素，生成新的图像，保存至图像鉴别信息训练库；

操作五，随机选取商品训练库内图片，随机缩放图像，生成新的图像，保存至图像鉴别信息训练库；

S3、构建并部署图片灰度信息模型，提取训练库内商品图案的灰度信息与边缘信息，形成灰度信息数据库：

第一步，使用灰度算法依次将图像鉴别信息训练库内图像信息分割为R(红)，G(绿)，B(蓝)三个通道，转换完成后保存上述图像鉴别信息训练库内所有图像的灰度图片，保存上述图片至灰度图片库内；

第二步，使用DnCNN神经网络去除上述灰度图像中每个颜色通道中的噪音，并替换上述第一步中所述的原始灰度图片；

第三步，使用Sobel算子提取上述第二步中所述的去噪音后的灰度图片的水平和梯度信息，并替换上述第二步中所述的原始灰度图片；

第四步，并行使用Isotropic Sobel，Robertsl，Prewitt算子分别提取上述第三步中所述的灰度图片边缘信息，使上述第三步中所述的原始灰度图片分别生成三张新的，对应不同算子的灰度图片，并替换上述第三步中所述的原始灰度图片；

第五步，使用im2bw和ycbcr2rgb反向转换算法获取上述第四步中所述原始灰度图片的灰度信息图片的边缘信息，形成灰度信息数据库；

S4、使用多重神经网络对灰度信息数据库内图片信息进行训练和测试，输出鉴别模型：

第一步，随机选取上述灰度信息模型内图片生成模型训练集，模型测试集和独立测试集，其中，模型训练集，模型测试集和独立测试集内所有图片互不重复且均从灰度信息数据库内提取；

第二步，构建基于多重神经网络的鉴别模型，通过对灰度信息数据库图片进行训练，参数调整和图片特征提取，根据辨识准确率选取针对不同状态下图片的性能最佳的若干个模型，构成合议算法，构建形成辨识模型；

模型结构包括至少一个输入层，若干卷积层，若干激励层，若干池化层，若干连接层和一个输出层；

输入层：模型输入层对上述训练集图片进行预处理操作，将每张图片转换为三维矩阵A，即：A＝W*H*D，其中，W为训练集输入图片的宽度，H为训练集输入图片的高度，D为训练集输入图片的深度；

卷积层：通过卷积层计算，将输入图片中的每一个特征首先局部感知，然后针对下一层次对局部进行综合操作，从而得到全局信息；

卷积层计算公式为：

其中i为第i个卷积层，Wi、Bi为当前层需要求解的未知数；

激励层：通过激励函数对卷积层的输出结果做一次非线性映射

采用ReLU激励函数，如果ReLU失效的情况下，则使用Leaky ReLU和Maxout函数进行映射其中ReLu激励函数的计算公式为：ReLU(f(x)＝(0，x))；

池化层：在构建相关辨真模型中引入池化层，用于针对输入的训练图片的特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性；

其中池层所用计算公式为：

其中i为第i个池化层，g为卷积层的输出依次取一小块矩阵纬度为3*3*3，Wi、Bi为当前层需要求解的未知数；

连接层：经过若干次卷积层+激励层+池化层训练后，模型构建得到的一个高质量的特征图片全连接层，成为一个简单的多分类神经网络，且可使用通过softmax函数得到最终的输出，至此，整个模型训练完毕；

全连接层计算公式为：t(i)＝f(Wⁱx+Bⁱ)

其中i为第i个全连接层，x为上一层，Wi、Bi为当前层需要求解的未知数；

输出层：通过softmax函数将多分类神经网络中每一轮的图片输出的1*2设为二维向量转化为概率分布，得出最终输出，完成模型训练过程

Softmax函数计算公式为：

其中，

第三步，将上述鉴别模型上传至专用云服务端，并开通相关API接口供使用。

2.根据权利要求1所述的一种使用神经网络鉴别商品真伪的方法，其特征在于：样本训练：

S1、训练样本设计：训练样本来源为通过相关机构验证的，被检验为真品或假冒产品的，通过不同设备在不同环境下拍摄，划分为训练样本集和测试样本集；训练样本集用于训练实物面缺陷识别网络，测试样本集用于验证实物面缺陷识别网络的有效性；训练样本集中的图像分为两类：非仿冒或仿制商品图像和仿冒或仿制商品图像；非仿冒或仿制商品图像是包含有真实缺陷的图像，用于提高网络对真实缺陷的识别能力；仿冒或仿制商品图像是不含有真实缺陷的图片；

S2、训练样本实物图像的目标定位：

(1)输入测试图像

(2)输入一张图像，利用selective search得到2000个region proposal，对所有region proposal变换到固定尺寸并作为已训练好的CNN网络的输入，得到f7层的4096维特征，所以f7层的输出是2000*4096；

(3)对每个类别，采用已训练好的这个类别的svm分类器对提取到的特征打分，所以SVM的weight matrix是4096*N，N是类别数,即20，因此得分矩阵是2000*20，表示每个regionproposal属于某一类的得分；

(4)对于2000*20中的某一列得分，找到分数最高的一个region proposal，然后只要该列中其他region proposal和分数最高的IOU超过某一个阈值，则剔除该region proposal，这一轮剔除完后，再从剩下的region proposal找到分数最高的，然后计算别的regionproposal和该分数最高的IOU是否超过阈值，超过的继续剔除，直到没有剩下regionproposal，对每一列都这样操作，这样最终每一列都可以得到一些region proposal；

(5)用N＝20个回归器对第4步得到的20个类别的region proposal进行回归，要用到pool5层的特征，pool5特征的权重W是在训练阶段的结果，测试的时候直接用，最后得到每个类别的修正后的bounding box，即目标物的定位；

S3、训练样本实物图像的目标分割：

(1)输入目标物的初步定位信息

(2)使用CRF模型建立目标特征的弱分类器的虚假预测方程，相关模型为：

其中，x是像素的分配标签，上面公式分为一元势能函数θi(xi)和二元势能函数θij(xi,yj)，

且，θ_i(x_i)＝-log P(x_i),其中P(xi)P(x_{i})P(xi)为DCNN对像素i处分配的标签的概率

且，θ_ij(x_i，x_j)＝μ(x_i，x_j)其中k^m是高斯核心，其值取决于像素i和j的提取特征，并通过ω_m加权后得到目标分割内核公式为：

其中p为目标物体的像素位置，I为目标问题像素位置的颜色强度，和为高斯核的边缘超参数；

S4、训练样本实物图像的缺陷点检测和提取：

(1)输入被成功提取的目标分割像素信息

(2)提取训练样本中非假冒产品图像，运行上述步骤1-4后，在图像中建立n个特征点，生成一个2n纬度的特征点集合，即：

{(x₁，y₁)，(x₂，y₂)…，(x_n，y_n)}

其中，x＝(x₁，…x_n，y₁…y_n)^T,T为特征纬度；

S5、缺陷检测模型的构建：

(1)设置检测模型的主要架构，检测模式基础使用DCNN(Deep ConvolutionalNetwork，多层级深度卷积神经网络)模型，并通过人工干预进行相关调整，调整后的DCNN由四个Level构成，Level-1由3个CNN(Convolutional Neural Network，卷积神经网络)组成；Level-2由10个CNN组成(每个关键点采用两个CNN)；Level-3同样由10个CNN组成；Level-4为最终处理及输出单元；

(2)Level-1设置：Level-1分3个CNN，分别是F1、EN1、NM1；F1输入尺寸为39*39，输出5个关键点的坐标；EN1输入尺寸为39*31，输出是3个关键点的坐标；NM11输入尺寸为39*31，输出是3个关键点，Level-1的输出是由三个CNN输出取平均得到；

(3)Level-2设置：Level-2，由10个CNN构成，输入尺寸均为15*15，每两个组成一对，一对CNN对一个关键点进行预测，预测结果同样是采取平均；

(4)Level-3设置：Level-3与Level-2一样，由10个CNN构成，输入尺寸均为15*15，每两个组成一对，Level-2和Level-3是对Level-1得到的粗定位进行微调，得到精细的关键点定位；

(5)Level-4的输入是将Level-3输出的inner point进行一定的旋转，最终将缺陷点的位置进行输出判定；

S6、缺陷检测模型的计算过程

(1)将训练库中的彩色图像输入并导出R(红色)G(绿色)B(蓝色)三个通道数值，其中每个值的数值介于0-255，并与图片的特征纬度数据进行关联

(2)使用上述图片的RGB数据生成图片卷积核数据，即：

其中B为所处理图片的卷积数据，K是卷积核数据，A为图像的输入矩阵

(3)使用激励函数结合卷积数据结果激活卷积神经网络，即通过卷积层计算，将输入图片中的每一个特征首先局部感知，然后针对下一层次对局部进行综合操作，从而得到全局信息；本发明主要ReLU激励函数，如果ReLU失效的情况下，则使用Leaky ReLU和Maxout函数进行映射其中ReLu激励函数的计算公式为：ReLU(f(x)＝(0，x))

(4)使用池化层提取通过激励函数处理的图像信息的特征，减少阶段传递的数据量用于针对输入的训练图片的特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性，即：

其中i为第i个池化层，g为卷积层的输出依次取一小块矩阵纬度为3*3*3，Wi、Bi为当前层需要求解的未知数

(5)经过若干次卷积层和池化层训练后，模型构建得到的一个高质量的特征图片全连接层，成为一个简单的多分类神经网络，且可使用通过softmax函数得到最终的输出，使用分布式特征表示的方式，将计算结果映射到样本图像信息的标记空间，输出最终计算矩阵与一个1×1尺寸的卷基层进行卷积运算结果，并最终展开为一个1×n的向量结果，输出最终缺陷检测模型；

其中，使用Softmax进行运算结果映射所使用的计算公式为：

其中，