[发明专利]基于多光谱图像融合识别的目标判定方法

权利要求书

1.基于多光谱图像融合识别的目标判定方法，其特征在于，包括如下步骤：

S1、采集已有图像样本；

S2、将图像样本以特定的格式导入电脑，读取、分析样本图像的特征，由人工按照注射时长及注射后的特征进行标注，建立样本数据库；

S3、构建多光谱图像和目标识别算法，分别用红外相机和可见光相机采集图像数据，并进行图像配准；利用深度学习模型对多光谱图像时序性特征进行自动提取，送入分类器，进行目标检测、分类与定位；

S4、由目标识别算法对图像样本进行识别判定；如果算法判定的结果与人工判定结果一致，则直接在样本数据库中标注结果；反之，则经第三人参与判断，校正后标注结果；

S5、将目标检测及分类结果上传至APP，由医护人员对分类结果进行判断，得出最终结果。

2.根据权利要求1所述的目标判定方法，其特征在于，步骤S1中，采集的图像样本包括注射0分钟时刻和注射20分钟时刻的图片，由医护人员给出判断结果。

3.根据权利要求1所述的目标判定方法，其特征在于，步骤S2中，分别对“注射0分钟”时刻、“注射20分钟”时刻及两个时刻的判断结果分别进行标注。

4.根据权利要求1所述的目标判定方法，其特征在于，步骤S3中，多光谱图像和目标识别算法对红外图像与可见光图像中的特征进行识别、检测，特征包括皮丘的大小、颜色、红晕范围，皮丘与周围皮肤的界限。

5.根据权利要求1所述的目标判定方法，其特征在于，在图像配准过程中，制作图像标定板，通过局部加热的方法增强红外图像中的特征，完成联合标定。

6.根据权利要求5所述的目标判定方法，其特征在于，步骤S3包括构建一种基于红外图像与可见光图像的离线配准方法，首先利用图像标定板和特征点获取红外图像和可见光图像的映射变换矩阵H，然后利用H矩阵实现多光谱图像对之间的配准。

7.根据权利要求6所述的目标判定方法，其特征在于，步骤S3具体包括如下步骤：

S31、分别使用红外相机和可见光相机采集图像数据，对同一张图像采集的一组数据包括一张红外图像和一张可见光图像；

S32、判断采集的图像对是否大于20组，如果否，则进入步骤S33；如果是，则进入步骤S34；

S33、对红外图像和可见光图像对应取4对特征点，计算可见光图像到红外图像平面的H矩阵；继续步骤S32；

S34、对其中20组H矩阵取均值并保存；

S35、判断剩余组计算H矩阵，输出标定结果；由医护人员判断标定的效果，若标定效果不好，则返回步骤S32；若标定的效果好，则图像配准结束。

8.根据权利要求7所述的目标判定方法，其特征在于，H矩阵即为单应性矩阵，由下面的公式来表示：

红外图像和可见光图像的像素转换关系可以写成如下形式：

式中，(x₁，y₁)为可见光图像的像素点坐标；(x₂，y₂)为红外图像的像素点坐标；h₀₀-h₂₂为单应性矩阵的参数。

9.根据权利要求1所述的目标判定方法，其特征在于，步骤S3包括构建一种目标检测神经网络模型，利用VGG16对可见光图像和红外图像分别进行特征提取并移除全连接层，在第四层卷积层后面增加多模态图像特征地图融合模块，在之后加入RPN网络、ROI网络与两个全连接层，并将全连接后的特征信息分别送入边界框回归预测头及分类预测头，得到最终的目标检测结果和皮试目标区域在可见光图像中的定位。

10.根据权利要求9所述的目标判定方法，其特征在于，在第四个VGG-16卷积模块之后，通过多模态图像特征地图融合模块对可见光图像和红外图像子网络得到的特征图进行融合，利用concat函数对特征地图进行堆叠，并利用1×1卷积层进行特征降维，使特征图的尺寸减小到512。