[发明专利]基于视点的对象拾取系统及其方法

说明书

实施例涉及一种基于视点的对象拾取系统及采用该系统的基于视点的对象拾取方法。该系统包括：传送装置，被构造为从原始视频中提取包括对象的对象区域，并且传送提取到的对象区域的对象蒙版图及所述原始视频；及播放装置，被构造为从所述传送装置接收所述对象蒙版图及所述原始视频，并显示所述原始视频，并且基于观看所述原始视频的用户视点，拾取所显示的原始视频中的对象。本发明能够克服以往的虚拟现实(Virtual Reality)设备的解码(decoding)局限性，在具有超高分辨率的视频中实现拾取。

技术领域

实施例涉及一种拾取视频中的对象的系统及方法，更为具体地涉及一种基于用户视点的拾取系统及方法。

背景技术

最近随着各种视频设备的发展，用户对通过视频设备观赏更富真实感和立体感的视频的要求日益增大。视频设备运营商迎合这种要求，改变视频内容处理方式而提供具有立体感的视频，或者在视频提供设备上连接各种附加装置来提供用户难以区别实际和虚拟的视频。例如有如下技术等：通过在显示器上同时显示从不同角度上利用两眼的视差而拍摄的视频，从而提供具有立体感的视频；或者用整个视频覆盖用户视角，从而以全景(panorama)形式提供来提供用户好像参与实际视频环境的效果。

此外，还有一种显示拍摄到的视频的同时拾取视频中的对象，以供用户能够确认及控制对象的技术。但是，以往的对象拾取技术从原始视频本身识别对象并进行拾取，因此具有对视频处理的负担较重的问题。

特别是，当前已商业化的VR设备大部分采取使用智能手机(smartphone)等移动设备的形式，在VR设备中，能够通过硬件加速来解码(decoding)的最高分辨率为4k，当在播放4k视频的同时进行拾取时，具有视频中断非常严重或者需要降低视频画质的问题。

专利文献1：美国专利第9576363B2号

发明内容

为了解决上述问题，需要一种通过与原始视频相比画质低的、针对对象的蒙版图来实现对象拾取的系统、装置及方法。

本发明的技术问题不限于上面提到的问题，本领域技术人员应能通过以下记载清楚理解未提到的其他技术问题。

本发明的一实施例的基于视点的对象拾取系统包括：传送装置，被构造为从原始视频中提取包括对象的对象区域，并且传送提取到的对象区域的对象蒙版图及所述原始视频；及播放装置，被构造为从所述传送装置接收所述对象蒙版图及所述原始视频，并显示所述原始视频，并且基于观看所述原始视频的用户视点，拾取所显示的原始视频中的对象。

在一实施例中，所述传送装置可被构造为进一步提取所述原始视频中的所述对象区域的坐标信息，所述播放装置被构造为从所述传送装置接收所述坐标信息，并且根据所述用户视点和所述坐标信息，拾取所显示的原始视频中的对象。

在一实施例中，所述对象蒙版图可为对象与背景分离并且分辨率比所述原始视频低的图像。

本发明的一实施例的能够基于视点拾取对象的视频传送装置包括：对象蒙版图生成部，用于从原始视频中提取包括对象的对象区域，并且生成提取到的对象区域的对象蒙版图；坐标信息提取部，被构造为提取所述原始视频中所述对象区域的坐标信息；及传送部，被构造为向播放装置提供所述原始视频、所述对象蒙版图及所述坐标信息。

在一实施例中，可进一步包括：子画面图像生成部，被构造为1)当原始视频中包括多个对象蒙版图时，生成由至少两个以上对象蒙版图结合而成的子画面图像；或者2)当原始视频为连续的多个视频时，生成由针对包含在各原始视频中的同一个对象的对象蒙版图结合而成的子画面图像，所述传送部向所述播放装置提供所述子画面图像。

在一实施例中，所述对象蒙版图可为对象与背景分离并且分辨率比所述原始视频低的图像。