[发明专利]一种畸变校正方法及装置、一种深度感知计算方法及装置

说明书

本公开涉及一种畸变校正方法及装置、一种深度感知计算方法及装置，其中畸变校正方法首先计算畸变校正中的位移差，并将所述位移差存储在外部存储器中；其次从所述外部存储器中获取所述位移差，并从FPGA的存储器中获取实时图像坐标，在FPGA平台上进行同步运算，实现畸变校正。畸变校正方法通过将整个图像校正坐标求解建立在软件编程语言校正的基础上，然后与硬件平台相结合的，通过采用高精度的软件程序计算，不仅可以提供校正精度，而且可以降低硬件复杂度。将上述畸变校正方法应用与深度感知计算中，不仅可以专用与深度感知计算的ASIC芯片面积小，而且有利于获得较为准确的图像深度信息。

技术领域

本发明属于图像处理、自然交互和集成电路技术领域，具体涉及一种畸变校正方法及装置、一种深度感知计算方法及装置。

背景技术

人类观察、认识世界80％以上的信息得益于双眼的效果，而深度感知设备上的摄像头就好比人类的眼睛，对捕捉到的空间场景信息通过内部复杂的计算得到场景中每一个位置实时的深度信息，计算机通过这些深度信息感知和理解这个场景。因此深度感知系统让人机交互变得更加容易，让人们可以摆脱掉鼠标键盘这类辅助工具。

深度感知是计算机视觉领域重要的研究方向之一，能够让智能设备获得类似人类视觉感知的能力，而现有的深度感知技术在对输入的畸变图像进行校正的时候，需要消耗大量的硬件资源，同时无法获取较为准确的图像深度信息。

发明内容

鉴于此，本公开提供一种畸变校正方法，所述方法将整个图像校正坐标求解建立在软件编程语言校正的基础上，然后与硬件平台相结合的方法得到最终结果。由此，硬件校正的精度不在单纯依赖硬件资源的消耗，而是很大程度上取决于软件编程语言的校正过程，软件编程语言校正精度低，就会导致硬件校正带来很大误差，使得校正后的图像很不理想。若软件编程语言校正精度高，硬件校正精度也会大幅提升，同时并没有增加硬件设计的复杂性。

一种畸变校正方法，所述方法包括下述步骤：

S100’、计算畸变校正中的位移差，并将所述位移差存储在外部存储器中；

S200’、从所述外部存储器中获取所述位移差，并从FPGA的存储器中获取实时图像坐标，在FPGA平台上进行同步运算，实现畸变校正。

在所述方法中，其中：所述步骤S100’中计算畸变校正中的位移差是通过软件编程语言实现的，所述软件编程语言包括matlab、C、C++、Python任一；所述步骤S200’中从所述外部存储器中获取所述位移差是通过硬件描述语言实现的，所述硬件编程语言包括verilog、VHDL任一。

第二方面，本公开提供一种深度感知计算方法，所述方法包括下述步骤：

S100、使用上述畸变校正方法进行畸变图像校正；

S200、将经过步骤S100处理的图像结合参考图像进行结构光单目匹配，计算深度值，获取深度图像；

S300、将所述深度图像经过后处理后，生成为三维点云。

在所述方法中，其中：所述后处理包括去噪处理、平滑处理以及空洞修补。

在所述方法中，其中：所述步骤S100还包括下述步骤：

采用平均值法将彩色图像转换为灰度图，然后利用阈值转化算法将灰度图转化为黑白图，再使用梯度锐化法对所述黑白图进行处理。

在所述方法中，其中：所述步骤S200中所述匹配之前，还包括下述步骤：

对经过步骤S100处理的图像，采用后向映射的方法旋转90度。

在所述方法中，其中：所述深度值通过下式计算：

其中：