[发明专利]利用物体跟踪和历史轨迹全景视频的视口预测方法及系统

说明书

本发明属于全景视频技术领域，公开了一种利用物体跟踪和历史轨迹全景视频的视口预测方法及系统，所述利用物体跟踪和历史轨迹全景视频的视口预测方法包括以下步骤：利用轨迹平移转换解决视口轨迹的不连续情况；利用对全景视频物体跟踪的轨迹模拟观看者兴趣坐标；构建基于深度学习的视口预测模型，预测未来帧的视口轨迹。本发明提出基于深度学习的视口预测方案用于预测视频观看者的视口位置，结合全景视频视口自适应传输方法实现节省带宽，其中历史视口轨迹和物体跟踪轨迹信息联合输入长短期记忆网络进行未来帧的视口轨迹预测。实验结果表明，本发明提出的方案优于基准方案高达33.5％。

技术领域

本发明属于全景视频技术领域，尤其涉及一种利用物体跟踪和历史轨迹全景视频的视口预测方法及系统。

背景技术

全景视频作为一种新型的视频格式，突破了传统的视野范围，将其视野范围扩展到360度全覆盖，实现虚拟现实的沉浸感，因此吸引了大量的关注。全景视频可以用于多种场景，如体育，社交网络，游戏等，同时5G通信的快速突破，Facebook等平台的支持，以及头戴式虚拟现实显示设备(HMD)的大量生产和推广进一步促进全景视频的发展。全景视频克服了视频图像呈现和感知的被动，使得视频的观众成为沉浸在观看场景中的虚拟参与者。每个全景帧在水平和垂直方向上覆盖360°×180°信号的范围。如图2a所示，将平面全景视频信号投影到球面上以实现身临其境的体验，当观看者戴上HMD，360度的视频信号将围绕观看者使得观看者虚拟位于球面视频信号的中心。观看者所见的视频图像区域称为视口，视野范围为60°到110°，通过转动头部或者身体，观看者能自由的选择观看视频图像的内容，视口之外的图像不可见。视口轨迹通常为观看者的兴趣内容，如图2b所示，一段时间内产生的视口轨迹是连续的，观看者选择兴趣的物体并保持兴趣的物体于视口内。由于不同观看者的兴趣不同，他们在同一视频帧中会产生不同的视口选择。如图3所示，全景视频内容呈现在球面上，两个观看者在观看同一帧图像时，感兴趣兴趣物体不一致，视口中心位于不同的坐标，因此，所看到的图像内容也不一样，视口范围外的图像对观看者不可见。在视频网络传输过程中，为满足所有观看者对不同视口的需求。网络上传输完整的视频图像内容，而可见的视口图像信号只占用完整球面的信号的一小部分，因此，不可见的图像信号占用了大量的带宽资源。假设观看者将来时段的视口轨迹已知，则可以根据观看者需求选择对应的视口图像传输，有利于视口自适应地分配带宽资源，使得观看者观看的视频质量和用户体验效果更好。本发明为更好地实现全景视频视口自适应传输，提出了一种方法预测将来时段的视口轨迹。

目前已有许多针对全景视频的研究，从投影、压缩、视口自适应传输和虚拟摄像等。

·投影：等量矩形投影(equirectangular)为最通用的投影方式，其转化公式直接简明，但图像有较大的形变，球面图像两极占用较大的编码，赤道相对较少。通常图像的关键内容分布在球面赤道，立方体(cube)投影改善了编码的分布，使得赤道和两极编码分布更加均匀，它将球面的视频图像映射到等六面体中，使得每个面都没有形变。此外，Facebook提出使用椎体投影进一步提高图像质量。

·压缩：为提高观看者兴趣区域(RoI)的质量，许多研究提出了基于H.265和HEVC的视频流算法。

·视口自适应传输：为了节省带宽，在本发明中提出了基于视口自适应的视频分配方案。根据视口的位置，自适应传输可以为视口内的图像分配更多的带宽，视口外的图像分配较少的带宽，甚至距离视口较远的图像区域不分配带宽。通过不同图像区域不同权重的带宽分配从而实现更少的带宽消耗，对于观看者的视口图像质量更高，节省带宽的同时提高了观看者的观看体验。另一方面，基于“块”的自适应视频传输能更好地与HTTP和DASH协议整合。

·虚拟摄影：虚拟摄影指从全景视频中模拟专业的摄影师选择符合人们观看视角的图像内容，将全景视频中采样的多个视角连接在一起组成平滑的观看视角轨迹。其主要思想是在全景帧中找到吸引观看者注意力的区域，利用显著图、光流图和前段时间的视角位置，计算下一个视角位置。