[发明专利]一种夜间工作工程机械视觉跟踪方法、装置及存储介质

权利要求书

1.一种夜间工作工程机械视觉跟踪方法，其特征在于，包括：

利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像；

利用YOLO-v4算法对所述光照增强图像进行处理，生成检测窗口；

利用卡尔曼滤波跟踪器对所述光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；

根据位置相似度和CNN特征相似度，将所述检测窗口与所述跟踪窗口进行关联，构建得到关联矩阵；

根据所述关联矩阵，通过匈牙利算法判断所述检测窗口与所述跟踪窗口是否相关联；

若所述检测窗口与所述跟踪窗口相关联，将所述跟踪ID分配给所述检测窗口；

所述根据位置相似度和CNN特征相似度，将所述检测窗口与所述跟踪窗口进行关联，构建得到关联矩阵这一步骤，包括：

将位置相似度和CNN特征相似度进行线性组合，计算所述检测窗口和跟踪窗口之间的相似性；

集成每对所述检测窗口和跟踪窗口之间的相似性，构建得到关联矩阵；

将位置相似度和CNN特征相似度进行线性组合，计算所述检测窗口和跟踪窗口之间的相似性是通过以下公式执行：

similarity(i,j)＝α×IoU(i,j)+(1-α)×k(i,j)；

式中，similarity(i,j)表示检测窗口i和跟踪窗口j之间的相似性，IoU(i,j)表示检测窗口i和跟踪窗口j之间的位置相似度，k(i,j)表示检测窗口i和跟踪窗口j之间的CNN特征相似度，α表示一个常数；

所述根据所述关联矩阵，通过匈牙利算法判断所述检测窗口与所述跟踪窗口是否相关联通过以下公式执行：

maximize:

式中，A[i,j]表示关联矩阵，A[i,j]＝similarity(i,j)，

其中，当j＝1,K,b；当i＝1,K,a；

式中，i表示检测窗口，a表示检测窗口的数量，j表示跟踪窗口，b表示跟踪窗口的数量。

2.根据权利要求1所述的一种夜间工作工程机械视觉跟踪方法，其特征在于，所述利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像这一步骤，包括：

通过编码器-解码器网络对夜间视频每帧的输入图像进行照明分布估计，得到特征映射；

采用级联的方法将所述输入图像和所述特征映射进行拼接，得到特征图；

将所述特征图进行三层卷积处理，得到光照增强图像。

3.根据权利要求1所述的一种夜间工作工程机械视觉跟踪方法，其特征在于，所述利用YOLO-v4算法对所述光照增强图像进行处理，生成检测窗口这一步骤，包括：

选取阿尔伯塔省建筑图像数据集对YOLO-v4算法中的深度学习对象检测器进行训练；

训练好的深度学习对象检测器对所述光照增强图像进行处理，生成检测窗口。

4.根据权利要求1所述的一种夜间工作工程机械视觉跟踪方法，其特征在于，所述位置相似度通过以下公式计算得到：

式中，IoU(i,j)表示检测窗口i和跟踪窗口j之间的位置相似度，Area(i)表示检测窗口i所在区域，Area(j)表示跟踪窗口j所在区域。

5.根据权利要求1所述的一种夜间工作工程机械视觉跟踪方法，其特征在于，所述CNN特征相似度通过以下公式计算得到：

式中，k(i,j)表示检测窗口i和跟踪窗口j之间的CNN特征相似度，v(i)表示检测窗口i经过ResNet50神经网络处理后得到的特征向量，v(j)表示跟踪窗口j经过ResNet50神经网络处理后得到的特征向量，||v(i)||表示特征向量v(i)的范数，||v(j)||表示特征向量v(j)的范数。

6.一种夜间工作工程机械视觉跟踪装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5任一项所述的方法。

7.计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求1-5任一项所述的方法。