[发明专利]一种用于双目视觉设备的视差图像生成方法、设备及介质

权利要求书

1.一种用于双目视觉设备的视差图像生成方法，其特征在于，所述方法包括：

获取待处理图像对，并对所述待处理图像对进行图像特征提取，以得到若干不同分辨率下的特征图像对；其中，所述待处理图像对包括双目视觉设备采集的不同角度的同一目标的图像对应的多幅图像；

将第一分辨率的所述特征图像对切分为若干第一特征块；

根据各所述第一特征块之间的对应关系，确定所述第一分辨率的所述特征图像对相应的待匹配坐标；其中，所述对应关系为所述特征图像对中任意两个所述第一特征块的相关度；

基于所述待匹配坐标，确定第二分辨率的所述特征图像对中的匹配坐标；以及

将所述第二分辨率相应的所述特征图像对作为待匹配图像对；所述第二分辨率大于所述第一分辨率；

根据所述第二分辨率的所述特征图像对中的所述匹配坐标，确定所述待匹配图像对中的待匹配区域对；

基于所述待匹配区域对中各特征子块之间的特征相关值，确定所述待匹配图像对相应的视差坐标，以基于所述视差坐标，生成所述待处理图像对的最终视差图像；所述特征子块为切分所述待匹配区域对得到的。

2.根据权利要求1所述方法，其特征在于，基于所述待匹配坐标，确定第二分辨率的所述特征图像对中的匹配坐标，具体包括：

确定所述第二分辨率与所述第一分辨率的比值；

将所述比值与所述待匹配坐标进行乘积运算，确定所述待匹配坐标在所述待匹配图像对中相应的所述匹配坐标；其中，所述匹配坐标中的第一坐标值对应所述待匹配图像对中第一待匹配图像，第二坐标值对应所述待匹配图像对中第二待匹配图像。

3.根据权利要求1所述方法，其特征在于，根据所述第二分辨率的所述特征图像对中的所述匹配坐标，确定所述待匹配图像对中的待匹配区域对，具体包括：

以所述匹配坐标相应的像素点为匹配窗口的中心，确定所述匹配窗口在所述待匹配图像对中的覆盖区域；其中，所述匹配窗口的尺寸为预设值；

根据所述覆盖区域，分别确定所述待匹配图像对中的所述待匹配区域对。

4.根据权利要求1所述方法，其特征在于，基于所述待匹配区域对中各特征子块之间的特征相关值，确定所述待匹配图像对相应的视差坐标，具体包括：

确定所述待匹配区域对中的第一待匹配区域相应的中心像素点对应的中心特征子块；

确定所述待匹配区域对中第二待匹配区域的各像素点对应的第二特征子块；

计算所述中心特征子块的向量与各所述第二特征子块的向量之间的所述特征相关值，以根据所述特征相关值，确定所述视差坐标；其中，所述特征相关值表征所述中心特征子块的向量与各所述第二特征子块的向量的相关程度。

5.根据权利要求1所述方法，其特征在于，获取待处理图像对之前，所述方法还包括：

通过预设样本库中样本图像对，对视差图像生成模型进行训练，以得到训练后的所述视差图像生成模型；其中，所述视差图像生成模型用于根据所述待处理图像对，生成所述视差图像；

其中，所述视差图像生成模型包括以下任意一个或多个模块：

用于对所述待处理图像对进行图像特征提取的图像特征提取模块；

用于将第一分辨率的所述特征图像对切分为若干第一特征块的切分模块；

用于确定所述对应关系的transformer模块；

用于确定所述第一分辨率的所述特征图像对相应的待匹配坐标的第一匹配模块；

用于确定第二分辨率的所述特征图像对中的匹配坐标的第二匹配模块；

用于生成原始视差图像的视差计算模块；

用于将所述原始视差图像细化为所述最终视差图像的视差细化模块。

6.根据权利要求1所述方法，其特征在于，将第一分辨率的所述特征图像对切分为若干第一特征块，具体包括：

将所述特征图像对进行向量处理，生成所述特征图像对相应的一维向量；

根据所述特征图像对相应的所述一维向量，对所述特征图像对进行位置编码，以得到所述特征图像对相应的位置信息；

根据所述位置信息，将所述第一分辨率的所述特征图像对，切分为若干具有所述位置信息的所述第一特征块。