[发明专利]基于头戴显示设备的图像处理方法、装置及设备

说明书

本发明公开了基于头戴显示设备的图像处理方法、装置及设备，该方法包括：获取通过双目相机中的第一相机采集的第一图像和通过双目相机中的第二相机采集的第二图像，其中第一相机为彩色相机，第二相机为单色相机；将第一图像与第二图像进行双目立体匹配，确定第二图像中与第一图像中的每个待匹配像素点相匹配的目标像素点；使用待匹配像素点的像素值代替相匹配的目标像素点的像素值，获得第二图像对应的彩色图像。

技术领域

本公开实施例涉及图像处理技术领域，更具体地，本公开实施例涉及一种基于头戴显示设备的图像处理方法、一种图像处理装置一种头戴显示设备。

背景技术

混合现实技术(Mixed Reality，MR)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

目前，在虚拟现实或者混合现实领域，通过头戴显示设备外置两个可见光摄像头实时捕捉外部的环境信息。具体地，通过对两个可见光摄像头采集两张图像进行立体视觉匹配，进一步对匹配后的图像进行对渲染处理得到外部环境信息，并通过头戴显示设备将外部环境信息呈现给用户。但是，现有技术中头戴显示设备外置的两个可见光摄像头均为高性能的彩色摄像头。这样，在立体视觉匹配和图像渲染处理的复杂度高，在显示的过程中会存在延时，影响用户体验。此外，硬件功耗急剧增大，硬件成本大。

因此，有必要提供一种新的基于头戴显示设备的图像处理的方案。

发明内容

本公开实施例的目的在于提供一种基于头戴显示设备的图像处理的新技术方案。

根据本公开实施例的第一方面，提供了一种基于头戴显示设备的图像处理方法，所述方法包括：

获取通过双目相机中的第一相机采集的第一图像和通过双目相机中的第二相机采集的第二图像，其中所述第一相机为彩色相机，所述第二相机为单色相机；

将所述第一图像与所述第二图像进行双目立体匹配，确定所述第二图像中与所述第一图像中的每个待匹配像素点相匹配的目标像素点；

使用所述待匹配像素点的像素值代替相匹配的所述目标像素点的像素值，获得第二图像对应的彩色图像。

可选的，将所述第一图像与所述第二图像进行双目立体匹配，确定所述第二图像中与所述第一图像中的每个待匹配像素点相匹配的目标像素点的步骤包括：

基于归一化互相关匹配算法，确定所述第一图像中的待匹配像素点在所述第二图像上的初始匹配块；

针对所述第一图像中的待匹配像素点，对所述初始匹配块进行亚像素匹配，确定与所述待匹配像素点相匹配的目标像素点。

可选的，基于归一化互相关匹配算法，确定所述第一图像中的待匹配像素点在所述第二图像上的初始匹配块的步骤包括：

在所述第一图像中构建以所述待匹配像素点为中心的第一窗口；

确定所述待匹配像素点在所述第二图像中投影的极线，并对所述极线上的每一个像素点构建与所述第一窗口大小相同的第二窗口；

对所述第一窗口和对应的多个所述第二窗口进行相关度计算，得到与所述第一窗口相关度最高的初始匹配块。

可选的，针对所述第一图像中的待匹配像素点，对所述初始匹配块进行亚像素匹配，确定与所述待匹配像素点相匹配的目标像素点的步骤包括：

在所述第二图像中构建以初始匹配像素点为中心的第三窗口，其中，所述初始匹配像素点为位于所述初始匹配块的中心的像素点；

以预定方式移动第三窗口，并计算移动后的所述第三窗口的中心坐标所在的像素点的灰度值与第一图像的平均灰度值的比值；