[发明专利]利用鱼眼相机获取三维场景图像的方法和装置、设备和介质

说明书

本公开提供了利用鱼眼相机获取三维场景图像的方法和装置、设备和介质，该方法包括：利用鱼眼相机采集目标场景的视频图像；基于目标场景的三维空间模型中的各顶点的三维坐标与对应的二维坐标之间的对应关系，将视频图像贴合到三维空间模型中，得到目标场景的三维场景效果图，顶点的三维坐标为顶点在三维空间模型对应的三维坐标系中的空间位置坐标，二维坐标为顶点对应的映射点在鱼眼相机对应的球坐标系的横切面上的投影点的坐标；球坐标系以鱼眼相机为球心、基于鱼眼相机的内参和外参构建得到；横切面为通过球坐标系的中心点、且与鱼眼相机的拍摄正方向垂直的平面。本公开可以降低图像采集成本，提高3D场景的成像效果，满足视频流的实时性需求。

技术领域

本公开涉及视频图像处理技术，尤其是一种利用鱼眼相机获取三维场景视频图像的方法和装置、设备和介质。

背景技术

目前，增强现实技术(Augmented Reality，AR)等应用中的成像方式，都是通过数据建模的形式采集整个场景的模型数据和材质数据，并利用这些数据模型和材质数据通过一定的三维(3D)技术还原整个3D场景。

在实现本公开的过程中，本发明人通过研究发现，上述AR等应用中的成像方式至少存在以下问题：需要提前采集好整个场景空间内所有物体的模型数据和材质数据用于建模，无法利用视频流实时还原整个3D场景的真实成像；目前在大多使用普通相机拍摄进行图像采集，由于普通相机拍摄角度的限制，通常是通过将多个相机拍摄的图像进行融合来达到整个空间的成像，部署多个相机所需的图像采集成本较高，并且，如果空间中存在走动的物体或人类，则在多个相机拍摄图像的融合缝隙处大概率会出现分裂现象，从而影响3D场景的成像效果。

发明内容

本公开实施例所要解决的一个技术问题是：提供一种利用鱼眼相机获取三维场景图像的方法和装置、设备和介质，以降低图像采集成本，提高3D场景的成像效果，可以满足视频流的实时性需求。

本公开实施例提供的一种利用鱼眼相机获取三维场景图像的方法，包括：

利用鱼眼相机采集目标场景的视频图像；

基于所述目标场景的三维空间模型中的各顶点的三维坐标与对应的二维坐标之间的对应关系，将所述视频图像贴合到所述三维空间模型中，得到所述目标场景的三维场景效果图；

其中，所述顶点的三维坐标为所述顶点在所述三维空间模型对应的三维坐标系中的空间位置坐标，所述二维坐标为所述顶点对应的映射点在所述鱼眼相机对应的球坐标系的横切面上的投影点的坐标；所述球坐标系以所述鱼眼相机为球心、基于所述鱼眼相机的内参和外参构建得到；所述横切面为通过所述球坐标系的中心点、且与所述鱼眼相机的拍摄正方向垂直的平面。

在基于本公开上述方法的另一个实施例中，所述对应关系的建立，包括：

分别针对所述三维空间模型中的各顶点，将所述各顶点从所述三维坐标系映射到所述球坐标系中，得到所述各顶点对应的各映射点在所述球坐标系中的球面坐标；

将所述各映射点从所述球坐标系投影到所述球坐标系的横切面上，得到所述各映射点在所述横切面上的投影点的二维坐标；

建立所述各顶点的三维坐标与对应的投影点的二维坐标之间的对应关系。

在基于本公开上述方法的另一个实施例中，在建立所述各顶点的三维坐标与对应的二维坐标之间的对应关系之前，还包括：

对所述鱼眼相机进行标定，得到所述鱼眼相机的内参和外参；其中，所述内参包括成像中心、所述鱼眼相机半径和拍摄张角中的至少一项，所述外参包括所述鱼眼相机在所述三维坐标系中的位置和朝向中的至少一项；

利用所述鱼眼相机的内参和外参，构建以所述鱼眼相机为球心的球坐标系。

在基于本公开上述方法的另一个实施例中，所述球坐标系具体为单位球坐标系。