[发明专利]图像处理方法、图像采集系统、电子设备、存储介质

说明书

本申请实施例提供一种图像处理方法、图像采集系统、电子设备、存储介质。方法包括：获取图像采集装置所采集的目标对象的目标图像，其中，目标对象置于至少一个光学镜的成像范围内，至少一个光学镜彼此之间成目标角度，目标图像包括目标对象的实体图像和至少一个光学镜中目标对象的镜像图像；基于目标图像确定实体图像、实体图像所对应的真实位姿信息、目标对象的至少一个镜像图像以及至少一个镜像图像各自对应的虚拟位姿信息，以获得目标对象在多个视角下的二维图像信息；其中，二维图像信息包括单视角图像和与单视角图像相对应的位姿信息，单视角图像为实体图像或至少一个镜像图像之一。这种方法能够实现多个视角的同步采集。

技术领域

本申请涉及图像处理技术领域，更具体地涉及一种图像处理方法、图像采集系统、电子设备、存储介质及计算机程序产品。

背景技术

近年来，随着虚拟现实(VR)、增强显示(AR)等多媒体技术的快速发展，对真实物体的三维数据采集技术提出了更高的要求。现有技术中，基于RGB相机的图像采集方法主要包括两种：1、搭建特定的相机阵列，同时拍摄多个视角的数据；2、借助特殊的机械结构(如旋转台)，实现单个相机对物体的多视角拍摄。前种方法采集精度高，但是系统昂贵复杂，仅适用于实验室环境；后种方法成本较低，但是增加了不可靠的运动部件，且无法实现多个视角的同步采集，不适用于动态物体的采集场景。

综上所述，需要一种新的技术来解决上述问题。

发明内容

考虑到上述问题而提出了本申请。本申请提供了一种图像处理方法、图像采集系统、电子设备、存储介质及计算机程序产品。

根据本申请一方面，提供了一种图像处理方法，包括：获取图像采集装置所采集的目标对象的目标图像，其中，目标对象置于至少一个光学镜的成像范围内，至少一个光学镜彼此之间成目标角度，目标图像包括目标对象的实体图像和至少一个光学镜中目标对象的镜像图像；基于目标图像确定实体图像、实体图像所对应的真实位姿信息、目标对象的至少一个镜像图像以及至少一个镜像图像各自对应的虚拟位姿信息，以获得目标对象在多个视角下的二维图像信息；其中，二维图像信息包括单视角图像和与单视角图像相对应的位姿信息，单视角图像为实体图像或至少一个镜像图像之一。

示例性地，基于目标图像确定实体图像、实体图像所对应的真实位姿信息、目标对象的至少一个镜像图像以及至少一个镜像图像各自对应的虚拟位姿信息包括：从目标图像中识别实体图像和至少一个镜像图像；将图像采集装置在物理世界中的位姿信息确定为真实位姿信息；对于至少一个光学镜中的任一光学镜，基于该光学镜在物理世界中的物理位置确定该光学镜的镜像变换矩阵；基于镜像变换矩阵对真实位姿信息进行镜像变换，获得与该光学镜相对应的虚拟位姿信息；其中，与任一光学镜相对应的虚拟位姿信息为与该光学镜中的镜像图像相对应的虚拟位姿信息。

示例性地，通过如下过程获得图像采集装置在物理世界中的位姿信息：获取位于图像采集装置的采集范围内的标识物的世界坐标；从目标图像中识别标识物的像素坐标；基于标识物的世界坐标和像素坐标之间的对应关系，确定图像采集装置的真实外参矩阵，图像采集装置在物理世界中的位姿信息包括真实外参矩阵。

示例性地，标识物包括位于至少一个光学镜中的每个光学镜的三个以上镜角位置处的标识码。

示例性地，从目标图像中识别实体图像和至少一个镜像图像包括：对目标图像进行目标检测或目标跟踪，以从目标图像中识别实体图像和至少一个镜像图像的初始位置信息；通过目标分割算法对初始位置信息进行调整，获得实体图像和至少一个镜像图像的最终位置信息。

示例性地，方法还包括：基于目标对象在多个视角下的二维图像信息进行三维重建，获得目标对象的三维模型。

示例性地，目标图像的数目是多个，基于目标对象在多个视角下的二维图像信息进行三维重建包括：将不同目标图像所对应的目标对象的二维图像信息进行对齐；基于对齐后的二维图像信息进行三维重建。