[发明专利]一种基于深度学习和单目视觉的水下机器人目标跟踪方法

说明书

本发明属于水下机器人技术领域，公开了一种基于深度学习和单目视觉的水下机器人目标跟踪方法，包括：从视频序列中输入图像，对于每个输入图像，使用深度学习神经网络来估计水下传输图，确定目标方位；通过网络获得的传输图，建立目标运动估计的方向和控制方案。本发明提出了一种基于深度学习的水下机器人单目视觉目标跟踪新方法，单目图像采集方法在水下环境中计算水下图像的传输。对于每一个传入的视频帧和没有先验知识的环境中，创造性引入先前训练的卷积神经网络计算传输图，这个传输提供了深度相关的估计。本发明提出的方法能够找到目标区域，并建立一个跟踪的方向。

技术领域

本发明属于水下机器人技术领域，尤其涉及一种基于深度学习和单目视觉的水下机器人目标跟踪方法。

背景技术

目前，最接近的现有技术：

水下机器人已广泛应用于各种水下工作，如水下结构的维护和检查、传感器的安装和科学勘探的样本检索等，这些工作通常由人工控制遥控执行，因此操作依赖于人类感知(主要是视觉)，操作人员的工作条件、经验和技能严重影响操作质量。因此，为了保证水下工作准确性，需要进行自动控制，而高精度的水下目标跟踪是一个关键要求。

使用视觉传感器进行水下导航的尝试有很多种，然而所提出的导航算法难以直接应用于实际应用。尤其是所提出的基于视觉的算法可能无法充分处理已安装的海底结构附近的定位任务，因为该算法需要目标对象的特定配置，例如附加基准标记。因此，本设计扩大基于视觉的算法识别结构自然场景下目标的能力，提出一种新的方法来最大限度地提高视觉传感器的可行性，以应对这些问题。

随着技术的进步，机器人和机器正变得越来越自主。在这一领域水下机器人，自主水下机器人(AUV)的数量大幅增加。计算机视觉得到了广泛的应用。各种水下机器人任务，如：栖息地和动物分类、地图绘制、3D场景重建、可视化、对接、跟踪、检查和定位。

在自主水下机器人(AUV)中计算机视觉也得到广泛应用，可实现各种水下机器人任务，水下目标在图像成像过程中由于受到水质的影响，光线被部分吸收、反射及散射。由于受到摄像机与目标物体之间距离的影响，光线的强度会随着距离的拉大而急剧减小，降低了水下图像的对比度，并使图像中的目标物体清晰度较差，不利于水下视频图像的进一步处理，造成目标特征提取的困难和影响目标定位的精度。由于视觉具有非侵入性、被动性和高信息含量，因此它是一种具有吸引力的感知方式，尤其是在较浅的深度。然而，诸如光的折射和吸收、水中悬浮粒子和颜色失真等因素会影响视觉数据的质量，从而导致图像的噪声和失真。依靠视觉感知的AUV因此面临着困难的挑战，因此在视觉驱动的任务上表现不佳。目前大多数方法都集中在将灰度图像转换为颜色的任务上，许多方法使用基于物理的技术来直接模拟光折射，特别是为了恢复水下图像的颜色。水下图像由于色彩或其他环境的影响而失真，缺乏地面真实性，这是以往彩色化方法的必然要求。此外，水下图像中存在的失真是高度非线性的；简单的方法(例如在图像中添加色调)并不能捕获所有依赖项。深度学习方法的应用极大地提高了对象分类、分割、空间变换等多个任务的性能。

综上所述，现有技术存在的问题是：

水下图像的对比度低，目标物体清晰度差，不利于水下视频图像的进一步处理，造成目标特征提取的困难和影响目标定位的精度。

解决上述技术问题的难度：水下环境对视觉传感影响很大，因为悬浮粒子的光折射、吸收和散射会对光学产生很大的影响。例如，由于红色波长很快被水吸收，图像的色调往往是绿色或蓝色。随着深度的加深，这种效果会恶化，因为越来越多的红色色调被吸收了。这种变形在本质上是非常非线性的，并且受许多因素的影响，例如存在的光线量(阴天与晴天、工作深度)、水中的粒子量、一天中的时间和使用的相机。这可能会导致任务困难，如分割，跟踪，或分类，因为他们间接或直接使用颜色。