[发明专利]基于光谱视频数据的典型目标材质属性提取方法和装置

权利要求书

1.一种基于光谱视频数据的典型目标材质属性提取方法，其特征在于包括：

A)采集RGB-IR光谱视频图像，

B)使用回归模型将RGB-IR光谱视频图像转换为特征谱段图像，

C)对特征谱段图像的每一个像素提取反射率特征，

D)使用分类模型对特征谱段图像的反射率特征进行分类，判断每一个像素是否属于特定的若干种材质之一，并给出相应的材质属性标签图，

E)使用形态学操作对材质属性标签图进行优化处理，

其中：

所述步骤B)中使用的回归模型由下述方法获得：

B1)根据提取的材质属性，设定特征谱段，

B2)把RGB-IR成像设备的光谱响应函数与高光谱数据相乘，获得模拟RGB-IR数据，

B3)选取高光谱数据中波长最接近的谱段的数据作为特征谱段数据，

B4)使用模拟RGB-IR数据与特征谱段数据，计算多光谱谱段至特征谱段的多元回归模型，其中多元回归模型可以是从线性回归、多项式回归和多变量样条回归中选出的一种，

所述步骤C)包括：

对于一个N维特征谱段数据P和光源光谱数据W，反射率特征F由下述表达式确定：

F＝(P/W)/max(P/W)

其中max表示计算向量最大元素的函数，

所述分类模型通过训练而确定，该训练包括：

D1)依据材质属性标注结果划分高光谱数据，构建训练数据集，

D2)把高光谱数据和特征谱段的响应函数相乘，使用高光谱数据和特征谱段的响应函数相乘，获取模拟RGB-IR图像，使用回归模型重建特征谱段光谱数据，

D3)利用重建的特征谱段光谱数据提取反射率特征，

D4)利用所述反射率特征与材质属性标签训练分类模型。

2.根据权利要求1所述的基于光谱视频数据的典型目标材质属性提取方法，其特征在于所述步骤A)中的RGB-IR光谱图像是由RGB-IR成像元件在400纳米至1000纳米之间的成像结果，其中IR谱段图像的中心波长应大于700纳米。

3.一种基于光谱视频数据的典型目标材质属性提取装置，其特征在于包括：

图像采集单元，用于接收多光谱视频，并对视频的每一帧进行降噪处理，

特征谱段重建单元，用于使用回归模型重构特征谱段图像，

反射率提取单元，用于在特征谱段图像中逐像素提取反射率特征，

材质属性提取单元，用于使用预训练的分类模型，对每一个像素是否属于几种典型材质进行判别，并输出材质属性标签图，

形态学处理单元，用于接收材质属性标签图，用形态学开操作和填充操作处理和优化材质属性标签图，

其中：

特征谱段重建单元根据提取的材质属性，设定特征谱段，再把RGB-IR成像设备的光谱响应函数与高光谱数据相乘，获得模拟RGB-IR数据，然后选取高光谱数据中波长最接近的谱段的数据作为特征谱段数据，最后使用模拟RGB-IR数据与特征谱段数据，计算多光谱谱段至特征谱段的多元回归模型，多元回归模型可以是从线性回归、多项式回归和多变量样条回归中选出的一种，

反射率提取单元对于特征谱段像素值P和光源光谱数据W，反射率提取单元按照下述表达式确定反射率特征F：

F＝(P/W)/max(P/W)

其中max表示计算向量最大元素的函数，

反射率提取单元在反射率特征计算过程中所使用的光源光谱数据是通过把标准白板高光谱数据与RGB-IR成像设备的光谱响应函数相乘而得到的。