[发明专利]三维图像生成方法及装置

权利要求书

1.一种三维图像生成方法，其特征在于，所述方法包括：

获取房间内各个位置的全景图像；

根据预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线，以及对应的自信度的值，其中，所述自信度的值根据边界预测误差和边界对称性要求获取，所述边界预测误差根据上下两条边界预测值与真实值的误差平均值计算得到，所述边界对称性由所述上下两条边界上任意两点的距离差值的绝对值计算得到；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；所述结构点和结构线为所述房间内不同平面的连接点和连接线；

根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系；

根据所述位姿关系和结构点、结构线，拼接形成所述房间的三维图像。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练得到所述结构点和结构线对应的自信度；

根据所述结构点和结构线对应的自信度对推断得到的所述房间的结构点和结构线进行判断；

舍弃所述自信度低于预设阈值的结构点和结构线。

3.如权利要求1所述的方法，其特征在于，所述边界预测误差根据如下方式获取：

根据上下两条边界预测值与真实值的误差平均值计算所述边界预测误差；具体为：

边界误差为墙与天花板和墙与地板两条边界线真实值与墙与天花板和墙与地板两条边界线预测值之差取绝对值后的均值。

4.如权利要求1所述的方法，其特征在于，所述边界对称性根据如下方式获取：

两条边界的平均距离为两条边界距离的均值；

两条边界上任意两点的距离分别为两条边界的平均距离分别与两条边界的差值的绝对值；

则：边界对称性为两条边界上任意两点的距离差值的绝对值。

5.如权利要求1、3或4任一所述的方法，其特征在于，所述结构点和结构线对应的自信度，根据如下方式计算：

Conf＝1-(boundary_loss+alpha*symmetry_loss)；

其中，Conf为所述结构点和结构线对应的自信度；boundary_loss为边界预测误差；symmetry_loss为边界对称性；alpha为预设参数。

6.如权利要求2所述的方法，其特征在于，所述三维图像神经网络根据如下方式训练：

获取房间内各个位置的全景图像；

对所述全景图像中墙-天花板、墙-地面边界线进行标注，相邻墙-天花板或者相邻墙-地面交点标注；

搭建神经网络进行训练。

7.如权利要求6所述的方法，其特征在于，所述对所述全景图像中墙-天花板、墙-地面边界线进行标注，相邻墙-天花板或相邻墙-地面交点标注，包括：

获取所述全景图像对应的相机距离地面的高度h，建立坐标系，坐标原点为所述相机的中心点，A’点为地面与墙的交线上任意一点；

相机高度h为A’点的z坐标z_f；

A’点的俯仰角v_f＝-(pix_y/img_height-0.5)*Pi，v_f取值范围-pi/2～pi/2；其中，pix_y为A’点在所述全景图像中y坐标，img_height为所述全景图像的高度像素值，Pi为圆周率；

AA’直线到相机轴距离c＝z_f/tan(v_f)；

A’点的坐标(x,y)通过在全景图像的x坐标结合三角关系得到，具体为：A’点与x轴夹角为u,x坐标为x＝c*cos(u),y＝c*sin(u)；所述夹角u＝(pix_x/img_width-0.5)*2pi；其中，所述pix_x为A’点在所述全景图像中x坐标，img_width为所述全景图像的宽度像素值；

根据所述A’点的坐标(x，y，z)获知对应墙-地面边界线三维坐标；

同理获取墙-天花板、墙-墙、相邻墙-天花板或相邻墙-地面交点的坐标。