[发明专利]一种基于图像的自然场景材料识别方法

摘要

本发明涉及一种基于图像的自然场景材料识别方法，首先设计跳跃空洞卷积网络提取自然场景图片中的材料特征，并且实现一个端到端的材料识别，然后又利用全连接条件随机场对网络识别的结果进行修正优化，避免材料识别结果边缘过度平滑。本发明不需要其他设备，同时不需要实地检测，只需要自然场景中拍摄得到的一些图像，就可以完成材料识别。

主权项

1.一种基于图像的自然场景材料识别方法，其特征在于步骤如下：步骤1：设计跳跃空洞卷积网络：步骤11：采用Vgg16网络提取底层的材料特征，使用图像金字塔对材料特征进行多尺度描述，包括3次下采样，特征大小变为原始图像的1/8；步骤12：舍弃VGG16网络的最后两个池化层，改用空洞卷积级联来替代；所述的空洞卷积就是在传统的卷积核参数四周插0，而插0的间隔由扩张率参数决定；步骤13：采用1个卷积核大小为1*1的卷积层提取特征的深度信息；步骤14：使用跳跃连接将步骤11提取到的特征和步骤13提取到的特征进行加法融合，得到新的特征；步骤15：对融合后的特征使用双线性插值的方式上采样，变为原始图像的大小；步骤16：采用SoftmaxWithLoss损失函数完成每个像素点的材料类别预测，这样就完成了一个端到端的材料识别结果；步骤2：使用自然场景材料数据集训练步骤1中的跳跃空洞卷积网络，得到训练好的网络模型：步骤21：对自然场景材料数据集进行数据预处理：首先设定基准尺寸512*512，其次对原始的自然场景材料数据集进行缩放，裁剪到基准尺寸大小，并分别左右翻转、上下翻转、顺时针旋转180度，扩充至原始数据集的8倍，最后扩充后的数据集作为网络训练使用的数据，该数据集总共有23种材料类别；步骤22：使用步骤21中数据预处理得到的数据作为跳跃空洞卷积网络的输入，进行卷积、池化、空洞卷积、双线性插值，得到材料识别结果图；步骤23：采用SoftmaxWithLoss损失函数，计算材料识别结果图与材料识别数据标签的损失；计算SoftmaxwithLoss损失时，首先要计算softmax的概率；设有n个类别，为训练标签值，形式如[0 0 0 0 0 0 1 0...0 0 0]^T，softmax输出为[f(z₁),f(z₂),...,f(z_k),...f(z_n)]^T k∈[1,n]，z_k表示第k类的softmax的输入特征量，f(z_k)是softmax的输出，f(z_k)计算如式(1)所示：而SoftmaxwithLoss损失为loss，其中i表示第i类，则loss计算如式(2)所示：步骤24：使用随机梯度下降算法优化跳跃空洞卷积网络，直到网络收敛，损失达到最低值，得到利用自然场景数据集训练好的网络模型；步骤3：使用步骤2中训练好的网络模型对未经训练过的自然场景图片进行预测，输出材料识别的结果图；步骤4：使用全连接条件随机场对步骤3得到的材料识别结果图进行优化修正，避免材料识别结果的局部区域标记偏置及边缘过渡平滑，得到更加准确的材料识别结果。