[发明专利]利用物体跟踪和历史轨迹全景视频的视口预测方法及系统

权利要求书

1.一种利用物体跟踪和历史轨迹全景视频的视口预测方法，其特征在于，所述利用物体跟踪和历史轨迹全景视频的视口预测方法结合观看者历史的视口轨迹信息和观看者对视频内容的兴趣，实现预测观看者将来时段的视口轨迹；所述利用物体跟踪和历史轨迹全景视频的视口预测方法包括以下步骤：

步骤一，利用轨迹平移转换解决视口轨迹的不连续情况；

步骤二，利用物体跟踪模拟观看者兴趣坐标，诱导视口预测；

步骤三，构建基于深度学习的视口预测HOP模型，预测未来帧的视口轨迹；通过将历史轨迹信息和视频兴趣信息融合输入流行的LSTM网络训练，实现更准确的视口轨迹预测；

所述HOP模型的架构包括三个组成部分，即历史轨迹，物体跟踪和融合；

利用观看者历史观看轨迹信息预测其将来的观看视口轨迹，设当前视频帧为f₀，历史的前L帧的视口轨迹为其中v₀为将来k帧的预测起点；由于视口轨迹为球面上的曲线，其坐标范围为经度[-π，π]，纬度[-π/2，π/2]；

当观看者的视口轨迹从经度-π直接跨越到π时，在经度方向会产生不连续的视口轨迹；

轨迹平移模块将视口轨迹平移至经度0度，并向经度正负其中某一方向延展，避免经度在-π到π之间的跨越，纬度方向保持不变；经过平移后的视口轨迹为利用已有的历史视口轨迹预测将来时段的视口轨迹，采用LSTM神经网络结构，经过LSTM-1网络得到的预测视口轨迹为

融合部分将初步预测的视口轨迹和平移后的运动物体轨迹向量拼接组成并输入LSTM-2网络进行训练，损失函数为L2范数；最后将网络的输出结果进行逆向的平移，得到最终的预测轨迹

所述的轨迹平移模块处理如下：

(1)设当前视口坐标表示为v_t＝(λ_t，φ_t)，将历史轨迹的第一个视口值的经度λ_1-l平移至0度，余下的L-1个经度平移相同的经度值；

(2)计算i^th和i-1^th个平移后视口的距离如果距离超过π，表示当前位置的视口平移前横跨±π，给予±2π校正；

轨迹平移公式表示为：

轨迹选择模块根据观看者当前的视口位置选择该观看者感兴趣的关键物体m，并提取其将来k帧的运动轨迹现实的观看者观看全景视频的场景可以分为三个类别：

单个物体：在当前视口v₀中，仅包含一个被观看的物体，则物体被认为观看者感兴趣的物体；

多个物体：当前视口v₀内包含多个观看物体，通常观看者把兴趣物体放置在视口的中心，因此距离视口最近的物体被选为观看者感兴趣的关键物体；

无物体：视口v₀内没有运动物体，状态为观看者在不同的物体中切换，则不输出关键物体；

由于视口轨迹为球面的曲线，采用空间角计算多个物体与视口中心的距离，假设全景帧f₀内有d个物体，则i^th个物体的空间角α_i计算公式为：

其中v₀(x，y，z)和是球面笛卡尔坐标分别对应平面坐标v₀＝(λ，φ)和⊙表示向量的点积，转换公式为：

x＝cosφcosλ

y＝cosφsinλ

z＝sinφ

关键物体m通过找到最小的α_i得到，表示为：

α_m＝min{α₁，...，α_i，...α_d}

s.t.α_m≤π/2.

关键物体的索引是m，其对应的轨迹可以表示为并且关键物体必须在当前视口视野范围内，在无物体场景中，预测的视口轨迹独立于物体。