[发明专利]远程呈现设备操作方法

说明书

公开了一种操作远程呈现设备的方法，该方法包括：使用多个相机捕获本地主体的图像以生成多个本地捕获图像。从远程设备接收远程主体视点(POV)数据。基于远程主体POV数据，从所述多个本地捕获图像中选择多个图块。将本地图像数据发送到远程设备。本地图像数据包括所述多个选择的图块。

背景技术

视频会议技术已经变得越来越普遍。这些技术现在已在全球范围内用于各种各样的个人和企业通信。例如，在电话会议或其它视频会议期间，个人可以通过数码相机捕获并发送给参与者的图像和声音来进行“交互”和参加面对面的对话。为了提供更具吸引力的视频会议体验，已引入了一套称为“远程呈现(telepresence)”的技术，其目的是使位于不同地理位置的参与者感觉好像他们在同一位置。远程呈现对常规的视频会议方案提供了一定的增强，但是仍然存在大量的领域需要新的和改进的思想以提供更沉浸式(immersive)的视频会议体验。

发明内容

在一个总体方面，本申请描述了一种操作远程呈现设备的方法。该方法包括：使用多个相机捕获本地主体的图像，以生成多个本地捕获图像；从远程设备接收远程主体视点(POV)数据；基于所述远程主体POV数据，从所述多个本地捕获图像中选择多个图块(tile)；向所述远程设备发送本地图像数据，所述本地图像数据包括所述多个选择的图块。

在另一种实现中，一种操作远程呈现设备的方法，包括：使用多个相机捕获本地主体的图像，以生成多个本地捕获图像；处理所述多个本地捕获图像以生成本地主体视点(POV)数据；向远程设备发送本地主体视点(POV)数据；从所述远程设备接收远程图像数据，所述远程图像数据包括所述远程设备基于所述本地主体POV数据选择的多个第一图块；基于所述本地主体POV数据，从所述多个第一图块中选择多个第二图块；在显示器上，显示基于所述多个第二图块合成的所述远程主体的所述图像。

在另一种实现中，一种操作远程呈现设备的方法，包括：使用第一远程呈现设备的多个第一相机，捕获位于第一位置的第一主体的图像，以生成所述第一主体的多个第一捕获图像；使用第二远程呈现设备的多个第二相机，捕获位于第二位置的第二主体的图像，以生成所述第二主体的多个第二捕获图像；在所述第一远程呈现设备处，处理所述多个第一捕获图像，以生成第一主体视点(POV)数据；在所述第二远程呈现设备处，处理所述多个第二捕获图像，以生成第二主体POV数据；从所述第一远程呈现设备向所述第二远程呈现设备发送所述第一主体POV数据；从所述第二远程呈现设备向所述第一远程呈现设备发送所述第二主体POV数据；在所述第一远程呈现设备处，基于所述第二主体POV数据，从所述多个第一捕获图像中选择多个第一图块；从所述第一远程呈现设备向所述第二远程呈现设备发送第一图像数据，其中所述第一图像数据包括所述多个第一图块；从所述第二远程呈现设备向所述第一远程呈现设备发送第二图像数据，其中所述第二图像数据包括所述多个第二图块；在所述第一远程呈现设备处，基于所述第一主体POV数据，从所述多个第二图块中选择多个第三图块；在所述第一远程呈现设备的第一显示器上，显示基于所述多个第三图块合成的所述第二主体的图像。

在另一种实现中，一种方法包括以下步骤：使用多个相机捕获本地主体的图像以生成多个本地捕获图像；从远程设备接收远程主体视点(POV)数据；基于所述远程主体POV数据，从所述多个本地捕获图像中选择多个第一图块；向所述远程设备发送本地图像数据，所述本地图像数据包括所述多个选择的第一图块。

在另一种实现中，一种方法包括：使用多个相机捕获本地主体的图像以生成本地捕获图像；从所述本地捕获图像中选择多个图块；将所述多个选择的图块转换为本地主体图像数据，远程设备可使用所述本地主体图像数据以渲染(render)和显示所述本地主体的视觉表示，其中所述本地主体图像数据包括所述远程设备可用以维持远程设备用户和所述本地主体的所述3D视觉表示之间的眼睛注视(eye gazing)的本地主体视点(POV)数据。