[发明专利]向在线会议提供具有虚拟幕布的用户视频

说明书

背景技术

一般而言，视频会议(或web会议)涉及多个客户端设备(例如，计算机、平板电脑、智能电话等)与会议服务器之间的通信。通常，每个客户端设备向会议服务器发送(例如，经由麦克风和网络摄像头来捕捉的)音频和视频输入，并从会议服务器接收(例如，经由扬声器和显示器来呈现的)音频和视频输出。

因此，视频会议的参与者能够共享语音和视频数据以进行有效的通信，就是说即使参与者可能分散在不同的远程位置上，他们也能够以协作交换的形式看到彼此、提出问题、插入评论等。GoToMeeting是web托管服务的示例，其能够以相似的方式工作，并且其由佛罗里达州劳德代尔堡市(FortLauderdale，Florida)的思杰系统有限公司(CitrixSystems，Inc.)提供。

发明内容

遗憾的是，对于在参与者之间简单共享视频数据的传统视频会议而言，其存在缺陷。具体地，一些参与者可以选择关闭其视频摄像机，以避免在视频会议期间简单共享他们的视频数据。例如，如果参与者具有凌乱的办公室，该参与者可能会由于其外观而感到尴尬，且因此在视频会议期间断开网络摄像头。作为另一示例，如果参与者从家中进行连接，该参与者可能不想让其他会议参与者观看该参与者家中的物品或其他人，并从而在视频会议期间关闭摄像机。其他的社交和/或隐私考量也可能存在，从而促使参与者在视频会议期间去激活他们的视频摄像机。遗憾的是，在视频摄像机关闭的情况下，视频会议期间的整体体验可能显著下降。

相对于在参与者之间简单共享视频数据的上述传统视频会议，改进的技术涉及向在线会议提供具有虚拟幕布的用户视频。在使用这种技术的情况下，可以将视野内背景区域的实况初始内容替换为经修改的视频内容(例如，模糊内容)，以隐藏背景区域中的任何东西。例如，深度感测技术能够识别背景区域，然后可以将背景区域加以模糊(或以其他方式替换)并从而将背景区域从视图中移除。因此，参与者能够在任何位置处参加在线会议，而不必顾虑共享了背景中的什么东西。

一个实施例涉及一种向在线会议提供用户视频的方法。该方法包括：从摄像机设备接收实况用户视频信号。该实况用户视频信号定义了视野。该方法还包括：自动识别视野内的呈现区域(presentation)的实况初始内容和视野内的隐私区域的实况初始内容。该方法还包括：基于实况用户视频信号来生成经修改的用户视频信号，作为针对在线会议的用户视频。经修改的视频信号包括：(i)视野内呈现区域的实况初始内容，以及(ii)代替视野内隐私区域的实况初始内容的经修改的视频内容。这种将隐私区域的实况初始内容替换为经修改的视频内容，实际上形成了虚拟幕布，即隐藏了背景中的任何东西的视野。

在一些布置中，自动识别呈现区域的实况初始内容和隐私区域的实况初始内容包括：基于深度测量数据分离隐私区域的实况初始内容与呈现区域的实况初始内容。例如，实况用户视频信号可以包括一系列视频帧，每个视频帧包括像素阵列，每个像素具有原始像素值和深度值，像素的深度值形成了至少一些深度测量数据。在这些布置中，基于深度测量数据分离隐私区域的实况初始内容与呈现区域的实况初始内容包括：对于每个像素，(i)当该像素的深度值低于预定义的深度阈值时维持原始像素值，以及(ii)当该像素的深度值超过预定义的深度阈值时，将原始像素值替换为不同的像素值。

在一些布置中，在该像素的深度值超过预定义的深度阈值时将原始像素值替换为不同的像素值包括：基于模糊算法来修改原始像素值，以模糊隐私区域的实况初始内容。与此同时，基于模糊算法来修改原始像素值可以包括：改变模糊算法的模糊效果，以(i)轻微模糊隐私区域中最接近呈现区域处的实况初始内容，以及(ii)充分模糊隐私区域中最远离呈现区域处的实况初始内容。这种显示可以令所有会议参与者视觉上愉快，然而依然有效地提供了用于隐藏背景内容的虚拟幕布。

在一些布置中，参与者能够提供模糊控制命令，以在在线会议期间选择性地禁用和启用对模糊算法的使用。在一些布置中，参与者能够提供模糊改变命令，该模糊改变命令在在线会议期间递增地改变经由模糊算法执行的模糊量。

在一些布置中，摄像机设备包括摄像机和深度传感器。在这些布置中，从摄像机设备接收实况用户视频信号包括：获取包括来自摄像机的捕捉到的用户图像和来自深度传感器的深度测量数据在内的一系列视频帧作为实况用户视频信号。