[发明专利]一种图像的视觉注意力捕捉方法、系统及可读存储介质

说明书

本发明属于图像分析技术领域，本发明提供的一种图像的视觉注意力捕捉方法、系统，其方法基于三路径深度网络TP‑Net来估计图像中人的注视目标。TP‑Net通过融合场景中人与人或者人与物之间的关系信息、场景显著性信息和头部信息来预测图像中人的注视目标，并通过微金字塔模块来有效捕获网络训练过程中学习到的多尺度特征，且能较好地解决图像中视觉注意力捕捉中人脸的模糊和被遮挡的问题；其系统以及包括该注意力捕捉方法的可读存储介质也具有同样的技术效果。

技术领域

本发明涉及图像分析技术领域，更具体的说，特别涉及一种基于三路径深度网络的图像中人的视觉注意力捕捉方法、系统及可读存储介质。

背景技术

在计算机视觉领域，现有的一些视觉注意力捕捉方法通常需要预先设置许多约束来使注意力捕捉任务变得简单。例如，限制注意力捕捉的场景只能是两人相互看着对方、要求人脸是必须可检测到的、或需要利用眼动跟踪数据。这些约束极大地限制了计算机视觉图像中人的注意力捕捉方法的应用范围。因为人的正脸在图像中并不总是可见的，而眼动跟踪数据是较难获得的，需要额外的辅助设备。因此，迫切需要开发一种无需上述约束也可以有效捕捉图像或视频中人的视觉注意力的方法。

发明内容

在自然场景中，人的头部信息，场景中物体的显著度信息，以及人和与其交互的人或者物之间存在的关系信息，都可以为推断场景中人的注视目标提供有力依据。鉴于此，本发明实施例提供了基于三路径深度网络的视觉注意力捕捉方法、系统及可读存储介质，以解决现有技术中需要预先设置约束来进行注意力捕捉的问题。

本发明实施例的第一方面提供了一种图像的视觉注意力捕捉方法，包括以下步骤：

S1.基于图像中的头部特写和头部位置信息来预测粗略的注视区域，构成第一路径；

S2.基于整幅图像作为输入来估计图像场景中物体的显著度，构成第二路径；

S3.基于整幅图像作为输入来估计图像中人与人或人与物之间的关系信息，构成第三路径；

S4.融合所述第一路径、所述第二路径和所述第三路径的输出结果，估计图像中人的注视方向和目标。

本发明实施例的第二方面提供了一种图像的视觉注意力捕捉系统，包括：

第一路径单元，基于输入的图像中的头部特写和头部位置信息来预测粗略的注视区域；

第二路径单元，基于输入的整幅图像来估计图像场景中物体的显著度；

第三路径单元，基于输入的整幅图像来估计图像中人与人或人与物之间的关系信息；

融合单元，分别与所述第一路径单元、所述第二路径单元和所述第三路径单元连接，对所述第一路径单元、所述第二路径单元和所述第三路径单元的输出结果进行融合后估计图像中人的注视方向和目标。

本发明实施例的第三方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现如前述图像的视觉注意力捕捉方法的步骤。

本申请基于三路径深度网络，采用挖掘人的头部信息、场景显著度信息和场景中人与人或人与物之间的关系信息的方式来估计机器人视觉图像或者视频中人的注意力，且通过三个路径对注视区域、场景中物体显著度和图像中人与人或人与物的关系信息的估计结果进行融合，可进一步提高视觉注意力捕捉的准确性。也有利于机器人通过视觉信号实现人体跟踪。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的视觉注意力捕捉方法的基本步骤图；