[发明专利]一种可实现硬件加速的双目感知方法

说明书

本发明公开了一种可实现硬件加速的双目感知方法，包括先引出双目摄像头的两个摄像头芯片的外触发引脚，并配置摄像头芯片的寄存器，使摄像头芯片工作在外触发模式；然后通过双目摄像头捕获双目图像和进行离线标定，得到双目摄像头的参数；接着将双目摄像头接入Zynq UltraScale+MPSoC的PL部分，然后进行同步触发，采集实时双目图像；根据双目摄像头的参数生成自定义IP，在PL中，调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配，从而生成实时视差图；最后将实时视差图传输给Zynq UltraScale+MPSoC的PS部分，并与其中的DDR4内存进行数据交互，同时生成Linux内核和文件系统管理DDR4中的图像缓存。本发明可应用于对算力和功耗有要求的嵌入式系统，可以有效实现硬件加速。

技术领域

本发明涉及立体视觉和嵌入式系统设计技术领域，特别涉及一种可实现硬件加速的双目感知方法。

背景技术

立体视觉是计算机视觉领域的一个重要课题，它的目的在于通过双目感知重构场景的三维几何信息。立体视觉广泛应用于机器人技术之中，通常对硬件有特定的选择，比如，当立体视觉应用于移动场景例如无人机及无人驾驶中，由于场景快速移动，卷帘相机拍摄图像会有模糊，选择全局曝光摄像头很有必要。立体匹配是立体视觉中的关键一环，相机硬件同步触发可以很大程度上减少误匹配。在嵌入式系统中，还要特别考虑硬件的重量和功耗，尽量选择小封装的芯片型号。另外，由于立体视觉的相关算法复杂，计算量大，对硬件处理速度也有一定的要求，如何提高硬件的处理速度也一直是立体视觉的研究课题。

目前，在PC端上用CPU作为处理器的算法研究有些并不适用于嵌入式系统，主流的技术方案是选择GPU或者FPGA平台来实现。国内外研究机构已经对立体视觉一些常用算法在FPGA上的实现展开了广泛的研究，其中不乏使用Xilinx公司的Zynq系列SoC作为主芯片，它可降低传统方法上FPGA和移动CPU的信息交互代价，并且更加轻便和小封装，非常适用于现在的嵌入式处理平台。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种可实现硬件加速的双目感知方法，该方法可应用于对算力和功耗有要求的嵌入式系统，可以有效实现硬件加速，适用于实时性要求高的场景。

本发明的目的通过下述技术方案实现：一种可实现硬件加速的双目感知方法，包括如下步骤：

S1、针对于双目摄像头的两个摄像头芯片，分别引出摄像头芯片的外触发引脚，并对摄像头芯片的寄存器进行配置，使摄像头芯片工作在外触发模式；

S2、通过双目摄像头捕获双目图像，根据双目图像进行双目摄像头的离线标定，得到双目摄像头的参数；

将双目摄像头接入Zynq UltraScale+MPSoC的PL部分，然后将双目摄像头和PL进行同步触发，采集实时双目图像；

S3、根据双目摄像头的参数生成自定义IP，在PL中，调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配，从而生成实时视差图；

S4、将实时视差图传输给Zynq UltraScale+MPSoC的PS部分，并与其中的DDR4内存进行数据交互，同时生成Linux内核和文件系统管理图像缓存。

优选的，双目摄像头的选型要求为：采用全局曝光方式、采用小封装和具有外触发模式。

优选的，摄像头芯片为AR0144CMOS芯片。

优选的，在步骤S2中，采用Matlab标定工具箱进行双目离线标定，得到的双目摄像头的参数包括相机内参矩阵和畸变系数。

优选的，双目摄像头具有MIPI输出接口，MIPI输出接口通过MIPI CSI-2RxSubsystem模块接入PL；两个摄像头芯片的Trigger引脚连接至同一个PL引脚，以此进行同步触发。