[发明专利]一种夜间工作工程机械视觉跟踪方法、装置及存储介质

说明书

本发明公开了一种夜间工作工程机械视觉跟踪方法、装置及存储介质，该方法包括利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像；利用YOLO‑v4算法对光照增强图像进行处理，生成检测窗口；利用卡尔曼滤波跟踪器对光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；根据位置相似度和CNN特征相似度，将检测窗口与跟踪窗口进行关联，构建得到关联矩阵；根据关联矩阵，通过匈牙利算法判断检测窗口与跟踪窗口是否相关联；若检测窗口与跟踪窗口相关联，将跟踪ID分配给检测窗口。本发明能够实现夜间工作中对工程机械对象的精准检测和识别，本发明可广泛应用于视觉跟踪技术领域。

技术领域

本发明涉及视觉跟踪技术领域，尤其是一种夜间工作工程机械视觉跟踪方法、装置及存储介质。

背景技术

随着计算机技术的不断发展，计算能力得到了极大的提高，使得利用计算机实现人类的视觉功能成为目前计算机领域中最热门的课题之一。视觉跟踪(Visual tracking)问题是计算机视觉领域中的一个重要问题,所谓视觉跟踪，就是指对图像序列中的运动目标进行检测，提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度等，以及运动轨迹，从而进行进一步处理与分析，实现对运动目标的行为理解，以完成更高一级的任务.

近年来，计算机视觉技术逐渐成熟，基于视觉的目标检测、图像分类、实例分割等技术飞速发展。但是目标检测框架都集中在光线良好的图像，然而实际生活中，夜间施工在许多施工场景中得到了广泛的应用，但由于低光照条件和疲劳环境，夜间施工的风险也更大；夜间施工视频中的存在低照明条件问题，光照不足会影响视觉质量，从而会降低从夜间视频中识别工程机械的目标检测算法的性能。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种夜间工作工程机械视觉跟踪方法、装置及存储介质。

本发明所采取的技术方案是：

一方面，本发明实施例包括一种夜间工作工程机械视觉跟踪方法，包括：

利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像；

利用YOLO-v4算法对所述光照增强图像进行处理，生成检测窗口；

利用卡尔曼滤波跟踪器对所述光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；

根据位置相似度和CNN特征相似度，将所述检测窗口与所述跟踪窗口进行关联，构建得到关联矩阵；

根据所述关联矩阵，通过匈牙利算法判断所述检测窗口与所述跟踪窗口是否相关联；

若所述检测窗口与所述跟踪窗口相关联，将所述跟踪ID分配给所述检测窗口。

进一步地，所述利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像这一步骤，包括：

通过编码器-解码器网络对夜间视频每帧的输入图像进行照明分布估计，得到特征映射；

采用级联的方法将所述输入图像和所述特征映射进行拼接，得到特征图；

将所述特征图进行三层卷积处理，得到光照增强图像。

进一步地，所述利用YOLO-v4算法对所述光照增强图像进行处理，生成检测窗口这一步骤，包括：

选取阿尔伯塔省建筑图像数据集对YOLO-v4算法中的深度学习对象检测器进行训练；

训练好的深度学习对象检测器对所述光照增强图像进行处理，生成检测窗口。

进一步地，所述位置相似度通过以下公式计算得到：