[发明专利]面向顶视鱼眼视觉任务的双曲空间可变形卷积方法

说明书

本发明公开了一种面向顶视鱼眼视觉任务的双曲空间可变形卷积方法，方法旨在解决顶视鱼眼视觉任务中卷积神经网络对畸变特征表征能力不足的问题。本发明提出了基于双曲空间中庞加莱球的可变形卷积方法，该方法将顶视鱼眼特征嵌入到图神经网络后将其映射到庞加莱球空间，在庞加莱球空间中进行图卷积神经网络实现特征信息更新后，再构造庞加莱超平面并计算特征到超平面的距离作为可变形卷积的参数。该卷积方法使得卷积核可以自适应变形，改进了卷积核从顶视鱼眼图像中畸变对象提取相似特征的能力，极大提高了卷积神经网络在顶视鱼眼视觉检测和分割任务中的准确率。

技术领域

本发明属于人工智能技术领域，具体涉及一种面向顶视鱼眼视觉任务的双曲空间可变形卷积方法。

背景技术

针对顶视鱼眼图像中的畸变进行优化对提高目标感知的精度至关重要。相比于其他畸变图像，顶视鱼眼的畸变问题有一定的特殊性，其不服从于当前的任一种畸变模型，目前的研究通常用四阶多项式映射作为鱼眼相机模型的近似，但在计算机视觉任务中，这样的假设即缺乏标定信息，也限制了鱼眼相机的视野范围。而目前针对畸变图像视觉任务提出的可变形卷积对鱼眼图像畸变的表征能力依然不足。使用标定板、展开法等手段对顶视鱼眼图像进行去畸变矫正是一种常见的思路，但这种方式会引入较多计算量，并且降低顶视鱼眼图像的视野范围或完整性。

采用可变形卷积对卷积神经网络进行优化是让深度学习模型适应图像畸变的有效方法，目前在顶视鱼眼图像上应用可变形卷积也有多种变体，例如对每个标准卷积的网格采样位置学习不同的权重，或限制标准卷积的网格采样中心位置的偏置学习。这些方法对网格采样权重和偏置的学习都是通过增加一个普通的卷积神经网络实现，并且都在欧式空间上进行优化，然而鱼眼图像类似球面信号，如果将其映射到黎曼空间进行优化，可以有效增加可变形卷积对图像畸变的适应能力。

发明内容

为解决上述问题，本发明公开了一种面向顶视鱼眼视觉任务的双曲空间可变形卷积方法。基于现有的卷积操作，本发明公开的双曲空间可变形卷积方法将双曲空间中的庞加莱球模型与鱼眼投影做类比可以实现对鱼眼模型更精确的近似，并且双曲空间与欧式空间存在双射映射，即可实现一对一的对应关系，因此可以在双曲空间上应用测地线度量和图卷积神经网络来学习欧式空间上可变形卷积核的变形参数，从而更好地捕捉顶视鱼眼图像的平滑非线性失真。进而提高其提取顶视鱼眼图像特征的能力，提升卷积神经网络在顶视鱼眼视觉任务中的准确度。

为达到上述目的，本发明的技术方案如下：

面向顶视鱼眼视觉任务的双曲空间可变形卷积方法，包括：

步骤一、将顶视鱼眼特征图嵌入到庞加莱球；

步骤二、映射特征信息到庞加莱球正切空间；

步骤三、图卷积神经网络更新特征信息；

步骤四、将特征信息映射回庞加莱球空间；

步骤五、构造庞加莱超平面并计算特征到超平面的距离；

步骤六、提取距离信息作为可变形卷积的形变参数。

进一步的，步骤一所述的顶视鱼眼特征属于图像结构数据，仅在欧式空间中实现卷积操作，为了在庞加莱球空间中实现特征的聚合更新，需要将顶视鱼眼特征图嵌入到无向图结构中，使特征图上每个像素的信息转化为无向图中的节点信息，通过后续的图卷积神经网络在庞加莱球空间中实现节点特征的聚合更新。在图嵌入的过程中需要根据图像的8连通性计算图的邻接矩阵A。

进一步的，步骤二中，由于双曲空间上的参数无法用欧式空间的图卷积神经网络进行优化，先将庞加莱球上的特征向量通过对数映射映射为庞加莱球正切空间中的向量。对于半径为c的庞加莱球，向量y在向量x处的对数映射的计算公式为：

其中，是在半径为c的庞加莱球上的莫比乌斯加法，||·||代表向量在欧式空间中的模长。