[发明专利]一种全景视频的目标跟踪方法、装置和全景相机

权利要求书

1.一种全景视频的目标跟踪方法，其特征在于，所述方法包括：

S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；

S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；

S203、将新的跟踪目标的位置映射回全景球面方位坐标；

S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束；

S201具体包括：

S2011、初始化跟踪目标在球面坐标系的位置及尺度；

S2012、通过电子云台旋转虚拟相机到跟踪目标所在视角，调整虚拟相机的焦距，得到初始的电子云台参数初始的电子云台参数使虚拟相机中心对准初始化的跟踪目标的位置，其中，用于控制虚拟相机上下倾斜，用于控制虚拟相机左右移动，用于控制虚拟相机缩放；

S2013、根据初始的电子云台参数对全景图像进行重投影变换到当前电子云台视角图像；

S2014、在当前电子云台视角图像中，接收用户手动选择的跟踪目标的位置；

S2015、根据在当前电子云台视角图像中的跟踪目标的位置计算跟踪目标在球面坐标系的位置及尺度；

S202具体包括：

S2021、选取跟踪目标邻域范围内平移跟踪目标的矩形框得到预定数量训练样本来训练位置跟踪模型；

S2022、根据位置跟踪模型的解来迭代更新位置跟踪模型的参数；

S2023、根据当前电子云台输出位置和尺寸以及位置跟踪模型的参数预测跟踪目标的平移位置；

S2024、根据由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度；

S2025、根据由跟踪目标的平移位置和尺度，得到新的跟踪目标的矩形框；

S2026、计算新的跟踪目标的矩形框在球面坐标系的位置及尺度。

2.如权利要求1所述的方法，其特征在于，所述得到新的视频帧之后，所述方法还包括以下步骤：

S205、用卡尔曼滤波器对视频帧的中心的坐标点进行平滑，使得输出的全景视频更平稳。

3.如权利要求1所述的方法，其特征在于，所述S2013具体为：

由公式(1)对全景图像进行重投影变换到当前电子云台视角图像，其中，是映射到电子云台视角图像中的坐标位置，是全景图像坐标转化为单位圆上三维坐标，公式(2)，K_k是虚拟相机透视矩阵，R_k是世界坐标系到虚拟相机的坐标系，θ＝||q||，为世界坐标系归一化球面坐标，为P_u,v在虚拟相机成像面坐标，用于控制虚拟相机缩放，c_x，c_y为虚拟相机投影中心，u和v是全景图像的二维坐标，分别归一化到[0,2π],[0,π]，P_u,v代表这个二维坐标映射到三维坐标上的点，q_x、q_y和q_z是q的三个分量；为了简化公式R_k，用和替代q，θ是参数表示，θ＝||q||，没有具体含义，用替代Φ(q)中的q得到相机旋转量R_k计算推导方法；

所述跟踪目标的位置具体是跟踪目标的矩形框其中，表示初始化的跟踪目标的矩形框中心，w₀,h₀分别表示跟踪目标的矩形框的宽和高，x₀和y₀是跟踪目标的矩形框的中心坐标；

所述S2015具体为：

由计算跟踪目标在球面坐标系的位置及尺度其中，其中，s₀是当前检测的跟踪目标的尺度，用跟踪目标的宽度表示，f₀是虚拟相机的焦距，h₀是矩形框的高，用于控制虚拟相机上下倾斜，用于控制虚拟相机左右移动，用于控制虚拟相机缩放，和分别是初始计算的虚拟相机上下倾角和左右移动量，θ_k、是计算的跟踪目标所在的球面坐标位置，是卡尔曼滤波器平滑的视点坐标位置，θ₀、为初始位置，即初始时虚拟相机以跟踪目标为中心。