[发明专利]基于球面特征的鱼眼图像特征处理方法、系统及电子设备

说明书

本发明提供一种基于球面特征的鱼眼图像特征处理方法、系统及电子设备。该基于球面特征的鱼眼图像特征处理方法包括：提取鱼眼图像中的多尺度特征得到多尺度特征图；将多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到鱼眼图像特征处理模型输出的鱼眼图像的融合特征图，其中鱼眼图像特征处理模型用于从多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与球面特征进行融合以得到融合特征图。

技术领域

本发明涉及基于图像处理领域，尤其涉及一种基于球面特征的鱼眼图像特征处理方法、系统、电子设备及存储介质。

背景技术

由于具有更大的视场角，全景图像在自动驾驶、视频监控等领域发挥着重要作用。然而，与传统平面图像不同，由于全向图像由于具有更大的视场角，所以采用传统小孔成像方式无法将等于甚至大于180度的场景投影在有限范围的图像上。在获取更多信息的同时，全向图像也拥有其独特的投影方式。然而这些投影方式在平面图像上产生了不可避免的形变，原因是投影过程是经过非线性映射将球面信息强行投影到平面，所以在投影过程中存在插值和像素点丢弃等情况，而更棘手的是图像中处于不同位置的目标其形变的方向和程度都不相同，而且不同的投影格式之间的失真规则并没有关联。而传统图像则不具有这样的性质，所以直接进行算法的迁移将不能解决失真问题。随着自动驾驶等行业的快速发展，对全景图像处理算法的实用性需求变得更为紧迫。

现有技术中，最直观的做法是先将全景图像进行失真矫正，使其能够呈现与平面图像相似的平移不变性特征，即使用预处理步骤来矫正输入的全景图像；而另一种方法是直接对图像处理算法进行改进。

然而，一方面，对于全景图像进行失真矫正的方法，现有技术不仅忽略了实际识别问题中的人脸检测过程，而且仅依照形变程度来划分图像不能很好的体现图像形变程度随着位置变化的连续性，此外现有技术还依赖于圆弧的检测。问题在于，不同的人脸在鱼眼图像中的位置不同，许多目标并没有完整且鲁棒的圆弧供算法处理，正因为全景图像包含比平面图像更多的信息，投影在平面上才会产生失真，现有技术通过强行消除形变势必会使图像损失掉原有的信息，而先进行图像校正再进行检测算法势必会带来额外的时间损耗。另一方面，对于直接对图像处理算法进行改进的方法，现有技术采用多方向投影由于在多个方向上重复进行，浪费时间和硬件的运算资源。由于网络中不同的纬度之间的内核权重不相关，因此显著增加了模型大小，而且需要根据网络结构的变化做出相应的调整，可移植性较差，并且无法应用于其它投影格式的全向镜头图像。此外，现有技术中虽然允许权重分配，但是隐含地假设可以在等角投影所定义的2D平面上插值来表征球体上的特征，这中表示形式明显存在问题。换句话说，通过优化2D卷积以适配图像的形变问题，很难学习到球域特征。另外，尽管现有技术利用快速傅里叶变换来加快卷积速度，但由于频域内点乘本身具有很高的复杂度，因此计算开销较大，目前无法被广泛且高效地应用。

发明内容

本发明提供一种基于球面特征的鱼眼图像特征处理方法、系统、电子设备及存储介质，旨在克服现有技术中的诸多问题，并且既能够通过统一的网络解决图像失真问题，又能够以较小的复杂度使用图像的球面特征进行人脸检测。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明的实施例提供一种基于球面特征的鱼眼图像特征处理方法，包括：

获取鱼眼图像并提取所述鱼眼图像中的多尺度特征得到多尺度特征图；

将所述多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到所述鱼眼图像特征处理模型输出的所述鱼眼图像的融合特征图，其中所述鱼眼图像特征处理模型用于从所述多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与所述球面特征进行融合以得到所述融合特征图。

进一步地，该基于球面特征的鱼眼图像特征处理方法还包括：

所述鱼眼图像特征处理模型包括特征图提取层、特征图优化层和特征图融合层；