[发明专利]混合现实的显示方法、装置、系统、存储介质及处理器

说明书

本发明公开了一种混合现实的显示方法、装置、系统、存储介质及处理器。其中，该方法包括：接收混合现实设备传回的虚拟场景信息；接收图像采集设备传回的现实场景图像和第一位姿信息，其中，第一位姿信息用于表示图像采集设备的位置和姿态；根据图像采集设备的第一位姿信息，调整虚拟场景信息中虚拟摄像头的位置和姿态得到虚拟场景图像；显示现实场景图像与虚拟场景图像叠加后的混合现实图像。本发明解决了混合现实设备对应的混合现实图像无法通过第三方设备进行显示的技术问题。

技术领域

本发明涉及混合现实领域，具体而言，涉及一种混合现实的显示方法、装置、系统、存储介质及处理器。

背景技术

混合现实(Mixed Reality)，简称MR，通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交换反馈的信息回路，以增强用户体验的真实感。

用户通过佩戴头戴式显示设备(如MR眼镜)来查看混合现实的画面，但是未佩戴头戴式显示设备的第三方用户将无法看到混合现实中的画面。

针对上述无法使第三方用户查看混合现实图像的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种混合现实的显示方法、装置、系统、存储介质及处理器，以至少解决混合现实设备对应的混合现实图像无法通过第三方设备进行显示的技术问题。

根据本发明实施例的一个方面，提供了一种混合现实的显示方法，包括：接收混合现实设备传回的虚拟场景信息；接收图像采集设备传回的现实场景图像和第一位姿信息，其中，所述第一位姿信息用于表示所述图像采集设备的位置和姿态；根据所述图像采集设备的第一位姿信息，调整所述虚拟场景信息中虚拟摄像头的位置和姿态得到虚拟场景图像；显示所述现实场景图像与所述虚拟场景图像叠加后的混合现实图像。

进一步地，根据所述图像采集设备的第一位姿信息，调整所述虚拟场景信息中虚拟摄像头的位置和姿态得到虚拟场景图像包括：根据所述第一位姿信息，确定虚拟摄像头在所述虚拟场景信息中对应位置和姿态，得到第二位姿信息；基于所述第二位姿信息，确定所述虚拟摄像头采集的所述虚拟场景图像。

进一步地，显示所述现实场景图像与所述虚拟场景图像叠加后的混合现实图像包括：以所述现实场景图像为背景图层，将所述虚拟场景图像叠加在所述虚拟场景图像的上层，得到所述混合现实图像；显示所述混合现实图像。

进一步地，所述图像采集设备包括以下至少之一：第一图像采集设备，用于基于所述混合现实设备的第一人称视角采集所述现实场景图像，得到第一现实场景图像；第二图像采集设备，用于基于所述混合现实设备的第三人称视角采集所述现实场景图像，得到第二现实场景图像。

进一步地，在所述图像采集设备为所述第二图像采集设备的情况下；接收图像采集设备传回的现实场景图像和所述图像采集设备的第一位姿信息包括：接收所述第二图像采集设备传回的所述第二现实场景图像和基于所述第二现实场景图像的第一位姿信息；根据所述第二现实场景图像识别所述混合现实设备的位置和姿态，和基于所述第二现实场景图像的第一位姿信息，得到所述混合现实设备的第三位姿信息；根据所述第三位姿信息，将所述第二现实场景图像调整为所述第一现实场景图像；确定所述第三位姿信息为基于所述第一现实场景图像的第一位姿信息。

进一步地，根据所述第二现实场景图像识别所述混合现实设备的位置和姿态，得到所述混合现实设备的第三位姿信息包括：根据所述第二现实场景图，识别所述混合现实设备与所述第二图像采集设备之间的位姿对应关系，其中，所述位姿对应关系用于表示所述混合现实设备与所述第二图像采集设备之间的位置对应关系和姿态对应关系；根据所述位姿对应关系和基于所述第二现实场景图像的第一位姿信息，确定所述第三位姿信息。