[发明专利]三维图像生成方法及装置

说明书

本发明实施例公开了一种三维图像生成方法及装置，其中，根据房间内各个位置的全景图像；利用预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系；根据所述位姿关系和结构点、结构线，拼接所述房间的三维图像。本发明方案通过大量的在先数据训练神经网络，将房间全景图像自动拼接为三维图像，通过简单的商用全景相机采集房间点位的全景图像，就能够推断出该房间的一个矢量化的极简三维模型，能够满足快速简洁的全屋重建的需求。

技术领域

本发明涉及计算机三维空间建模技术领域，尤其是一种三维图像生成方法及装置。

背景技术

在室内三维模型的数据采集阶段，一般需要利用特殊设备，收集不同的拍摄点数据(包括深度数据和RGB图像数据)。在完成对数据收集以后，通过标定好的相机参数、RGB图片以及深度图片得到RGBD图。其中，RGB是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。深度图(Depth Map)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。

现有技术中，能够结合相机位姿将RGBD图转化为单个相机点位的点云。这需要找出不同拍摄点的在全局坐标系下的坐标，才能把这些点云数据拼接成一个完整房屋的点云模型。

这种模式需要特定设备，并且需要专门训练的操作人进行操作，不利于广泛推广和普及。

发明内容

本发明实施例所要解决的一个技术问题是：提供三维图像生成方法及装置，解决现有技术中房间三维图像重建过程繁琐、精确度不高等问题。

根据本发明的一个方面，提供了一种三维图像生成方法，包括：

获取房间内各个位置的全景图像；

根据预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；所述结构点和结构线为所述房间内不同平面的连接点和连接线；

根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系；

根据所述位姿关系和结构点、结构线，拼接所述房间的三维图像。

可选地，在本发明三维图像生成方法的任一实施例中，所述方法还包括：

所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练得到所述结构点和结构线对应的自信度；

根据所述结构点和结构线对应的自信度对推断得到的所述房间的结构点和结构线进行判断；

舍弃所述自信度低于预设阈值的结构点和结构线。

可选地，在本发明三维图像生成方法的任一实施例中，所述方法还包括：

根据边界预测误差和边界对称性要求获取所述结构点和结构线对应的自信度。

可选地，在本发明三维图像生成方法的任一实施例中，所述边界预测误差根据如下方式获取：

根据上下两条边界预测值与真实值的误差平均值计算所述边界预测误差；具体为：

根据上下两条边界预测值与真实值的误差平均值计算所述边界预测误差；具体为：