[发明专利]一种基于注意力跟踪机制的视觉云台控制方法及系统

说明书

本发明提供了一种基于注意力跟踪机制的视觉云台控制方法及系统，包括：获取跟踪目标的中心点坐标和注视点坐标；依据所述中心点坐标，以及第一目标跟踪模型，得到预测中心点坐标；依据所述注视点坐标，以及第二目标跟踪模型，得到注意力跟踪预测坐标；根据所述预测中心点坐标和所述注意力跟踪预测坐标，确定最终预测坐标；利用所述最终预测坐标以及比例控制调整云台；本发明在实现调整云台时，考虑了目标注视点坐标的因素，通过根据目标中心点坐标和和注视点坐标分别得到预测点坐标，再综合考虑两个预测的坐标确定最终预测坐标，从而实现对云台角度的调节控制，考虑了目标注视点因素，提高了控制精度。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于注意力跟踪机制的视觉云台控制方法及系统。

背景技术

当前，随着深度学习的飞速发展，经典的深度学习方法不仅在计算机视觉任务中得到广泛应用，在计算机硬件的自动化控制上也开始发挥其优势作用，例如：当前的智能化云台镜头控制算法利用视觉目标检测、视觉目标跟踪的技术来实现对云台的控制，上述智能化云台目前已广泛应用于边境巡逻、战场侦察、无人区作业监测、搜索救援、智能安防和地面测绘等领域；智能化云台控制还不能很好的应用到球赛自动导播上，当前完成一场球赛导播需要大量的人力和物力，通过多机位摄像，手动切换吸引观众注意的画面来实现对最终呈现画面的把控，耗时耗力，不能实现对云台控制的预测。

发明人发现，智能化云台控制不能很好的应用到球赛自动导播上，其主要原因是在进行云台控制时，没有考虑观看者的眼球注意力，导致云台控制后拍摄角度与目标注意力的坐标之间存在差异。

发明内容

本发明为了解决上述问题，提出了一种基于注意力跟踪机制的视觉云台控制方法及系统。

考虑利用注意力相关方法实现对球赛呈现画面的把控，进而控制云台的偏移和俯仰角度，以此来实现对球赛的自动导播。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明提供了一种基于注意力跟踪机制的视觉云台控制方法，包括：

获取跟踪目标的中心点坐标和注视点坐标；

依据所述中心点坐标，以及第一目标跟踪模型，得到预测中心点坐标；

依据所述注视点坐标，以及第二目标跟踪模型，得到注意力跟踪预测坐标；

根据所述预测中心点坐标和所述注意力跟踪预测坐标，确定最终预测坐标；

利用所述最终预测坐标以及比例控制调整云台。

进一步的，所述第二目标跟踪模型为注意力跟踪算法模型，训练过程为：

获取视频数据，

预处理所述视频数据，得到视频帧序列；

获取观看者观看视频时的眼球注意力观测数据，确定观看者在所有帧中的注视点坐标；

利用所有帧中的注视点坐标和卡尔曼滤波跟踪算法，训练得到注意力跟踪算法模型。

进一步的，所述视频数据为球赛视频数据。

进一步的，所述第一目标跟踪模型为多目标跟踪算法。

进一步的，对所述预测中心点坐标和所述注意力跟踪预测坐标进行均值操作，得到最终预测坐标。

进一步的，利用所述最终预测坐标以及比例控制调整云台舵机的偏航角和俯仰角。

进一步的，控制调整云台舵机的偏航角yaw′和俯仰角pitch′为：

yaw′＝yaw+kp₁*x_offset