[发明专利]自动检测数字流并将其插入360度视频的系统、方法和介质

说明书

自动检测数字流并将其插入360度视频的系统、方法和介质。用于自动检测数字流并将其插入360度视频中的系统和方法。这种用户感兴趣区域的各种示例包括而不限于，在各种电子显示器上显示或在电子纸(电子墨水)上写下的内容、利用电子投射器投射在各种面上的内容、360度视频中出现的纸质文档的内容和/或在360度视频内的白板(黑板)上写下的内容。对于某些内容(如白板、纸质文档或博物馆中的绘画)，参与者(或管理者)可以拍摄该区域的图片，再次以数字形式存储在某处并可供下载。获得具有用户感兴趣内容的这些数字流，然后将这些数字流插入到从原始360度视频馈送生成的360度视图上，使用户能够以其原本的高分辨率来观看它们。

技术领域

所公开的实施方式总体上涉及增强视频系统和方法，并且，更具体地说，涉及用于自动检测数字流并将其插入360度视频中的系统和方法。

背景技术

360度视频(也称为沉浸式视频或球形视频)是利用全向摄像头或指向不同方向的多个摄像头的集合获取的视频录制，其中同时记录每个方向的视图。在常规平板显示器上播放360度视频期间，可以向观看者提供对观看方向(如全景)的控制。360度视频也可以在设置于圆柱形或球形某一部分中的显示器或投射器上播放。对于远程加入会议或其他团体集会(如贸易展览、博物馆，以及艺术展)来说，前述360度视频是一种显著改进，因为它们为远程观众提供了对观众可观看内容的完全控制。

然而，该技术的一个缺点是，360度视频对包含高密度信息(如投射到屏幕或白板上的演示幻灯片)的某些区域的成像不佳。在许多情况下，眩光以及到感兴趣区域的距离使得观看者不可能阅读到所显示的信息。

因此，鉴于常规360度视频技术的上述和其它缺点，需要新的和改进的系统和方法，该系统和方法将自动检测高分辨率数字视频流并将该数字流插入到360度视频中，使其对用户可读。

发明内容

本文描述的实施方式涉及系统和方法，该系统和方法基本上消除与360度视频的常规系统和方法相关的一个或更多个上述和其它问题。

根据本文描述的实施方式的一个方面，提供了一种系统，该系统包括：至少一个摄像头，该至少一个摄像头获取环境的360度视频；以及处理单元，该处理单元用于识别所获取的360度视频内的至少一个插入候选，并将媒体插入所识别的至少一个插入候选中。

在一个或更多个实施方式中，插入候选是360度视频内的区域。

在一个或更多个实施方式中，360度视频内的区域是面。

在一个或更多个实施方式中，360度视频内的区域是显示器屏幕。

在一个或更多个实施方式中，360度视频内的区域是白板。

在一个或更多个实施方式中，媒体是图像。

在一个或更多个实施方式中，媒体是视频流。

在一个或更多个实施方式中，媒体的分辨率高于360度视频的分辨率。

在一个或更多个实施方式中，所插入的媒体是基于插入候选的检测到的遮挡来剪切的。

在一个或更多个实施方式中，所插入的媒体是利用掩模(mask)来剪切的。

在一个或更多个实施方式中，插入候选是利用360度视频的内容来识别的。

在一个或更多个实施方式中，插入候选是基于至少一个摄像头的、相对于插入候选的位置的位置来识别的。

在一个或更多个实施方式中，要插入所标识的至少一个插入候选中的媒体是基于对360度视频中位于所标识的至少一个插入候选附近的人的脸部识别来选择的。

在一个或更多个实施方式中，插入候选是利用360度视频内的对象识别来标识的。