[发明专利]一种立体360度全景图像拼接方法及装置

权利要求书

1.一种立体360度全景图像拼接方法，其特征在于，包括：

获取车辆四周及上方的图像，每个所述图像中均包含标定物；

将车辆四周的图像拼接后，得到的图像再与车辆上方的图像拼接，得到立体图像，根据所述立体图像获取拼接处的图像；

通过摄像头获取拼接处的实际图像，作为校验图像；

将所述拼接处的图像和所述校验图像分别切割为多个子图像后，输入卷积神经网络中，提取子图像的特征；

计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离；

根据子图像的特征相似距离，计算所述拼接处的图像和所述校验图像的特征相似距离；

根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度，若相似度超过阈值，则拼接完成；若相似度低于阈值，调整摄像头参数，重复上述步骤，至相似度超过阈值。

2.根据权利要求1所述的立体360度全景图像拼接方法，其特征在于，计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离的方法包括：

所述子图像拥有n个像素点，计算像素点a的颜色值f（a），，其中a∈（0，n]，x为颜色值，其值为整数，x∈（0，256]，为隶属函数，∈[0，1]；

计算以像素点a为中心的区域的颜色平均值Y（a），，a表示计算的像素点，b表示区域内像素点的个数；

计算所述拼接处的图像和所述校验图像在像素点a的特征相似距离r_a（C，D）, r_a（C，D）=|f_C(a)-f_D(a)|，其中f_C(a)为所述拼接处的图像在像素点a的颜色值，f_D(a)为所述校验图像在像素点a的颜色值；

计算所述拼接处的图像和所述校验图像在该子图像的特征相似距离R_a（C，D）=。

3.根据权利要求1所述的立体360度全景图像拼接方法，其特征在于，计算所述拼接处的图像和所述校验图像的特征相似距离的方法包括：

，为所述拼接处的图像和所述校验图像的一个子图像的特征相似距离，j为子图像的数量。

4.根据权利要求2所述的立体360度全景图像拼接方法，其特征在于，所述卷积神经网络为训练好的视觉几何群模型，去掉改卷积神经网络的全连接层和softmax层；

将子图像进行归一化处理，输入卷积神经网络进行前向运算；

提取神经网络中所有池化层的输出，作为深度特征映射图；

将每个池化层中提取来的深度特征映射图叠加，其中每个像素得到一个高纬特征向量，维数为该池化层提取的深度特征映射图的个数，对于这些特征向量，利用主成分分析进行降维。

5.根据权利要求1所述的立体360度全景图像拼接方法，其特征在于，利用主成分分析进行降维后，将降维得到的所有特征映射图进行双线性差值，重置到原输入图像大小，得到降维后的深度特征。

6.一种立体360度全景图像拼接装置，其特征在于，包括：

第一图像获取模块，所述第一图像获取模块获取车辆四周及上方的图像，每个所述图像中均包含标定物；

拼接模块，所述拼接模块将车辆四周的图像拼接后，得到的图像再与车辆上方的图像拼接，得到立体图像，根据所述立体图像获取拼接处的图像；

第二图像获取模块，所述第二图像获取模块通过摄像头获取拼接处的实际图像，作为校验图像；

特征提取模块，所述特征提取模块将所述拼接处的图像和所述校验图像分别切割为多个子图像后，输入卷积神经网络中，提取子图像的特征；

第一计算模块，所述第一计算模块计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离；

第二计算模块，所述第二计算模块根据子图像的特征相似距离，计算所述拼接处的图像和所述校验图像的特征相似距离；

判断模块，所述判断模块根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度，若相似度超过阈值，则拼接完成；若相似度低于阈值，调整摄像头参数，重复上述步骤，至相似度超过阈值。