[发明专利]融合可见光和近红外信息的典型目标材质属性提取方法及装置

权利要求书

1.一种融合可见光和近红外信息的典型目标材质属性提取方法，其特征在于包括如下步骤：

A)在原有的可见光图像基础上，在材质属性提取任务中引入近红外信息，通过具有可见光和近红外采集能力的摄像头进行数据的采集；

B)根据数据在拜耳阵列中的分布规则，利用GPU的并行计算特性，实现不同数据通道的分离；

C)对原始的可见光和近红外信息进行分析转换，得到具有高区分性的材质特征；

D)通过设计的全卷积材质识别网络对图像材质类别进行识别；

E)对材质提取结果进行先腐蚀再膨胀的形态学处理，去除部分图像噪声的干扰，并根据图像像素点过曝情况对结果进行修正，

其中：

所述步骤C)包括：

C1)保留原始的近红外数据信息，将近红外信息应用于材质提取任务以提升算法的鲁棒性，

C2)提取数据的波段间关系特征，包括通过对不同对象的材质数据进行分析，计算相邻波段间的差值信息，

C3)将原始可见光数据通过颜色空间转换，转换为YUV色彩空间信息，

C4)将步骤C1-C3中得到的数据特征在特征维度进行拼接，得到图像材质特征，

步骤D)包括：

D1)在训练阶段，将原图像分为一个个图像块，每个图像块的大小是相同的，选择其中具有材质属性标签的图像块分别输入到材质识别网络中，网络的输出为图像块中心像素的材质类别，通过模型进行学习，

D2)在测试阶段，用整张图像作为输入，将材质识别网络转换为滑动窗口，滑动的步长为一，对输入图像中的每个像素点进行滑动预测，最终得到整张图像的材质属性识别结果。

2.存储有计算机程序的存储介质，该计算机程序能使处理器执行根据权利要求1所述的典型目标材质属性提取方法。

3.一种材质属性提取装置，其特征在于包括：

数据采集模块，当系统加载相机驱动时设置采集的图像尺寸，当接收到开始采集数据的控制指令时开始用相机采集数据；

数据传输模块，用于传输控制指令和图像数据，其中控制指令通过UDP方式进行传输以加快指令传输的效率，图像数据通过TCP方式进行传输以保证数据的完整性，所述控制指令包括建立连接、断开连接、采集数据、图像增益控制和相机曝光时间控制的指令；

特征提取模块，用于从接收的原始图像数据中提取出图像特征，即权利要求1步骤C)中设计的图像特征；

材质识别模块，用于通过调用根据权利要求1所述的材质识别网络，以从图像中提取到的材质特征为输入，输出经过识别模型处理后得到的整张图像的材质识别结果；

数据存储模块，电脑端每接收到一帧完整图像数据，就将其保存到本地，保存格式为原始的RAW文件。

4.根据权利要求3所述的材质属性提取装置，其中所述数据采集模块被包括在开发板中。