[发明专利]基于头戴显示设备的图像处理方法、装置及设备

权利要求书

1.一种基于头戴显示设备的图像处理方法，其特征在于，所述方法包括：

获取通过双目相机中的第一相机采集的第一图像和通过双目相机中的第二相机采集的第二图像，其中所述第一相机为彩色相机，所述第二相机为单色相机；

将所述第一图像与所述第二图像进行双目立体匹配，确定所述第二图像中与所述第一图像中的每个待匹配像素点相匹配的目标像素点；

使用所述待匹配像素点的像素值代替相匹配的所述目标像素点的像素值，获得第二图像对应的彩色图像。

2.根据权利要求1所述的方法，将所述第一图像与所述第二图像进行双目立体匹配，确定所述第二图像中与所述第一图像中的每个待匹配像素点相匹配的目标像素点的步骤包括：

基于归一化互相关匹配算法，确定所述第一图像中的待匹配像素点在所述第二图像上的初始匹配块；

针对所述第一图像中的待匹配像素点，对所述初始匹配块进行亚像素匹配，确定与所述待匹配像素点相匹配的目标像素点。

3.根据权利要求2所述的方法，基于归一化互相关匹配算法，确定所述第一图像中的待匹配像素点在所述第二图像上的初始匹配块的步骤包括：

在所述第一图像中构建以所述待匹配像素点为中心的第一窗口；

确定所述待匹配像素点在所述第二图像中投影的极线，并对所述极线上的每一个像素点构建与所述第一窗口大小相同的第二窗口；

将所述第一窗口和对应的多个所述第二窗口进行相关度计算，得到与所述第一窗口相关度最高的初始匹配块。

4.根据权利要求2所述的方法，针对所述第一图像中的待匹配像素点，对所述初始匹配块进行亚像素匹配，确定与所述待匹配像素点相匹配的目标像素点的步骤包括：

在所述第二图像中构建以初始匹配像素点为中心的第三窗口，其中，所述初始匹配像素点为位于所述初始匹配块的中心的像素点；

以预定方式移动第三窗口，并计算移动后的所述第三窗口的中心坐标所在的像素点的灰度值与第一图像的平均灰度值的比值；

直至所述第三窗口的中心坐标所在的像素点的灰度值与第一图像的平均灰度值的比值大于预定比例阈值，将所述第三窗口的中心坐标所在的像素点确定为目标像素点。

5.根据权利要求4所述的方法，针对所述第一图像中的待匹配像素点，对所述初始匹配块进行亚像素匹配，确定与所述待匹配像素点相匹配的目标像素点的步骤还包括：

基于所述第二图像，获取所述第三窗口的中心坐标所在的像素点附近的第一参考像素点、第二参考像素点、第三参考像素点、第四参考像素点的灰度值；

对所述第一参考像素点、第二参考像素点、第三参考像素点、第四参考像素点的灰度值进行加权平均计算，获得所述第三窗口的中心坐标所在的像素点的灰度值。

6.根据权利要求5所述的方法，针对所述第一图像中的待匹配像素点，对所述初始匹配块进行亚像素匹配，确定与所述待匹配像素点相匹配的目标像素点的步骤还包括：

根据参考像素点与所述第三窗口的中心坐标的距离确定参考像素点的权重值。

7.根据权利要求4所述的方法，所述方法还包括：

基于所述第一图像对应的灰度图像，获取参考匹配块中各个像素点的灰度值；

根据所述参考匹配块中各个像素点的灰度值，计算待匹配像素点在所述参考匹配块的水平方向和垂直方向上的灰度梯度值；

根据所述待匹配像素点在所述参考匹配块的水平方向和垂直方向上的灰度梯度值，确定第一图像的平均灰度值。

8.根据权利要求1所述的方法，所述方法还包括：

获取所述第一图像对应的灰度图像的步骤。

9.一种图像处理装置，其特征在于，包括处理器和存储器，所述存储器存储有计算机指令，所述计算机指令被所述处理器运行时，执行权利要求1-8任一项所述的方法。

10.一种头戴显示设备，其特征在于，包括双目相机和如权利要求9所述的图像处理装置，所述双目相机包括彩色相机和单色相机。