[发明专利]一种图像处理系统、方法、装置、电子设备及存储介质

说明书

本发明公开了一种图像处理系统、方法、装置、电子设备及存储介质，所述系统包括双目摄像机、数字信号处理DSP和现场可编程门阵列FPGA；所述双目摄像机，用于向所述DSP发送采集的第一图像和第二图像；所述DSP，用于对所述第一图像和第二图像进行预处理；所述FPGA，用于针对每个视差方向，并行在该视差方向上对所述预处理的第一图像和第二图像进行立体匹配，生成该视差方向上的视差图；根据每个视差图，确定深度图。由于在本发明实施例中，FPGA并行确定每个视差方向上的视差图；进而根据每个视差图，确定深度图。避免了先依次确定每个视差方向上的视差图，然后再确定深度图带来的延时问题，因此确定深度图的实时性较好。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理系统、方法、装置、 电子设备及存储介质。

背景技术

立体视觉是计算机视觉研究最广泛的领域之一，被广泛应用于自动驾驶、 三维重建、障碍检测等领域。立体视觉是通过左右相机获得同一场景不同视角 的图片，然后再通过立体匹配算法获得场景的深度图的过程。

现有技术中在确定深度图时，通常采用数字信号处理(Digital SignalProcessing，DSP)的模式，如图1所示，DSP接收左右两个摄像机sensor0 和sensor1传输的图像，然后对两个图像进行深度图算法。

现有技术存在的问题是，在确定深度图时，需要计算多方向的视差图，但 是DSP只有单通道处理能力，只能依次确定每个方向的视差图，待每个方向 的视差图都计算完成后，再确定最终的深度图，因此现有技术确定深度图的实 时性较差。

发明内容

本发明实施例提供了一种图像处理系统、方法、装置、电子设备及存储介 质，用以解决现有技术中确定深度图的实时性较差的问题。

本发明实施例提供了一种图像处理系统，所述系统包括双目摄像机、数字 信号处理DSP和现场可编程门阵列FPGA；

所述双目摄像机，用于向所述DSP发送采集的第一图像和第二图像；

所述DSP，用于对所述第一图像和第二图像进行预处理；

所述FPGA，用于针对每个视差方向，并行在该视差方向上对经过预处理 的第一图像和第二图像进行立体匹配，生成该视差方向上的视差图；根据每个 视差图，确定深度图。

进一步地，所述DSP，具体用于根据所述第一图像和第二图像中预设的像 素点的标记信息，判断所述第一图像和第二图像是否为相同帧号的左图和右图， 如果是，将所述第一图像和第二图像发送至所述FPGA。

进一步地，所述FPGA中包括三块缓存；

所述DSP，具体用于将经过预处理的第一图像和第二图像依次发送至所述 FPGA中的第一块缓存、第二块缓存和第三块缓存；所述第二块缓存，用于数 据缓冲；

所述FPGA，还用于从第三块缓存中获取所述经过预处理的第一图像和第 二图像。

进一步地，所述FPGA，还用于对所述经过预处理的第一图像和第二图像 进行极线校正。

进一步地，所述FPGA，具体用于确定所述经过预处理的第一图像中的每 个第一像素点相对于经过预处理的第二图像中每个第二像素点的代价值；根据 所述每个第一像素点的代价值，分别确定左、上、右、左上和右上五个方向的 视差图；

其中，所述FPGA将确定的代价值按照顺序存储，用于确定左、上、左上 和右上四个方向的视差图；将确定的代价值按照倒序存储，用于确定右方向的 视差图。

进一步地，所述FPGA，具体用于按照预设的数量，并行确定所述经过预 处理的第一图像中的每个第一像素点相对于经过预处理的第二图像中每个第 二像素点的代价值。