[发明专利]基于ZYNQ的实时双目立体视觉软硬件协同设计方法

说明书

本发明涉及一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，包括以下步骤：利用ZYNQ中PL完成双目立体匹配的实时计算处理；利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。本发明能够正确高效的实现ZYNQ FPGA中的PL端和PS端的图像数据的交互、控制、处理，达到实时双目立体视觉的效果。

技术领域

本发明涉及计算机视觉应用技术领域，特别是涉及一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法。

背景技术

双目立体视觉是计算机视觉研究领域的一个重要课题，利用位置不同的两个摄像头拍摄两张图像，从中获得深度信息。双目视觉所需设备简单，精度合适、系统结构简单等优点，被广泛应用于视觉导航、目标检测与跟踪、目标测量、目标识别以及三维场景感知等场合中。

双目立体视觉的相关算法实现复杂，计算量大，复杂的处理算法使得用CPU的指令集串行处理运算速度缓慢，无法达到实时效果。通常采用的是GPU加速或者FPGA加速实现。采用GPU处理的方法有一定的加速比，但处理帧率低、一般需要大体积的服务器，能耗也相当高。相比之下FPGA的并行计算和低功耗等特点，更适合嵌入式设备的实时性实现。但FPGA只擅长并行计算，相对功能单一，控制管理能力差，基于FPGA搭建人机交互系统复杂，系统工作量大，开发难度高，需要采用软硬件协同设计的方法。

软硬件协同设计是通过软件和硬件的并发设计，充分发挥软件和硬件的协同作用，来达到系统级的设计目标。在早期针对嵌入式系统设计面临的问题与挑战，研究者们探索出新的设计方法学--软硬件协同设计方法。它的核心思想是在设计过程中协调软件子系统和硬件子系统，每一步都是硬件和软件综合考虑的最优结果。相对于传统独立设计软硬件体系结构的弊端，软硬件协同设计方法依据系统目标要求，通过综合分析系统软硬件功能及现有资源，最大限度的挖掘系统软硬件之间的并发性，协同设计软硬件体系结构，以便系统能够达到最佳性能。随着技术的不断发展，软硬件协同设计的主要研究对象从可配置的嵌入式计算机系统转变为集成嵌入式系统的单个芯片。ZYNQ(Xilinx ALL ProgrammableZynq-7000Soc)是Xilinx公司研制出的一款融合了高性能ARM处理器与大容量FPGA的嵌入式处理器芯片，具有软硬件同时可编程特性。但是在ZYNQ芯片上如何合理的进行软硬件的划分以及高效地使用内存，总线以及处理器来完成数据的交互和控制始终是软硬件协同设计中的一大挑战。

发明内容

本发明所要解决的技术问题是提供一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，能够正确高效的实现ZYNQ FPGA中的PL端和PS端的图像数据的交互、控制、处理，达到实时双目立体视觉的效果。

本发明解决其技术问题所采用的技术方案是：提供一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，包括以下步骤：

(1)利用ZYNQ中PL完成双目立体匹配的实时计算处理；

(2)利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。

所述步骤(1)中的实时计算处理包括双目立体校正算法处理、双目立体匹配计算处理和VDMA视频图像传输处理，其中，所述双目立体校正算法处理和双目立体匹配计算处理通过自定义IP实现，所述VDMA视频图像传输处理通过Xilinx官方IP实现。