[发明专利]基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法

说明书

本发明涉及一种基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法，包括：仿生双眼装置对当前场景进行检测；构建实例级分割网络、和显著性注视点检测网络以及人体姿态检测网络；将当前场景的图像信息输入所述实例级分割网络，得到当前场景下的实例级分割结果图；尝试基于当前场景中的语音信息、人体姿态检测网络和显著性注视点检测网络获取显著性注视点区域的掩码图；将显著性注视点区域的掩码图与实例级分割结果图相对准，获取当前场景中的显著性目标及其实例级类别和轮廓，仿生双眼装置对该显著性目标进行追踪。本发明提高了跟踪切换鲁棒性，能使最终结果更精确，也更贴近人眼视觉机制。

技术领域

本发明涉及智能仿生技术领域，更具体地涉及一种基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法。

背景技术

人类视觉注意机制指的是：在人类视觉感知过程中，其先利用周边视的视杆细胞对现实场景进行快速的感知，得到人眼最想关注的视角区域，接着将人眼的中心视(由视锥细胞负责)对准该区域，进而得到该显著性目标的类别以及轮廓信息。

现有的基于仿生双目视觉系统的目标追踪切换方法，通过随机初始化待追踪目标并转动眼球，来实现实时追踪。当被跟踪目标丢失的时候，系统将重新随机切换一个目标来跟踪，或者系统通过每隔固定的时间(比如5秒钟)进行一次目标追踪切换，来实现仿生双眼类人眼的效果。然而，从人眼视觉注意机制的角度来说，上述两种方式显然与仿生双目视觉系统的设计初衷相悖。仿生双目视觉系统的设计宗旨是实现接近人类双眼的仿生可动双眼，而人类视觉系统具有异常突出的数据筛选能力，面对周围的环境，针对其最感兴趣的目标区域及时作出反应，而对不相关的目标或区域“视而不见”。在进行某一新场景时，对其认为比较重要的目标区域会给予更多的关注，而对相对不太重要的目标或区域关注度较低。且随着时间的推移，当前场景下已经关注过的目标和区域的重视程度会逐渐降低。

然而，目前仿生双目视觉系统中的目标追踪切换方法并没有上述人类视觉注意机制，而是人为给定了严格的控制逻辑，显然不符合人眼的机制。另外，对于在跟踪过程中是否需切换追踪目标这一点，除了由视觉因素决定以外，其他模态的因素(如听觉和嗅觉)也起着关键影响，即仿生双眼视线的切换应是多模态信息融合的结果。而在现有的仿生双目视觉的目标追踪切换方法中，仅能根据视觉信息进行仿生眼的视线切换。

发明内容

为解决上述现有技术中的问题，本发明提出了一种基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法，更加符合人眼的视觉注意机制。

本发明提供的一种基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法，包括：

步骤S1，提供一仿生双眼装置，该仿生双眼装置对当前场景进行检测，获取当前场景的多模态信息，其中，多模态信息包括图像信息和语音信息；

步骤S2，构建实例级分割网络、和显著性注视点检测网络以及人体姿态检测网络；

步骤S3，将当前场景的图像信息输入所述实例级分割网络，得到当前场景下的实例级分割结果图，其中，实例级分割结果图中包括实例级类别和轮廓；

步骤S4：尝试基于当前场景中的语音信息获取显著性注视点区域的掩码图，尝试成功时，进行步骤S5；尝试不成功时，则继续尝试基于所述人体姿态检测网络获取显著性注视点区域的掩码图，尝试成功时，进行步骤S5；尝试不成功时，则继续尝试基于所述显著性注视点检测网络获取显著性注视点区域的掩码图，尝试成功时，进行步骤S5；尝试不成功时，则结束步骤；

步骤S5，将得到的显著性注视点区域的掩码图与所述步骤S3中得到的实例级分割结果图相对准，获取当前场景中的显著性目标及其实例级类别和轮廓，所述仿生双眼装置对该显著性目标进行追踪。

进一步地，所述步骤S4包括：

步骤S41，判断所述仿生双眼装置是否检测到当前场景中的语音信息，若是，则进行步骤S42，若否，则进行步骤S43；