[发明专利]一种可实现硬件加速的双目感知方法

权利要求书

1.一种可实现硬件加速的双目感知方法，其特征在于，包括如下步骤：

S1、针对于双目摄像头的两个摄像头芯片，分别引出摄像头芯片的外触发引脚，并对摄像头芯片的寄存器进行配置，使摄像头芯片工作在外触发模式；

S2、通过双目摄像头捕获双目图像，根据双目图像进行双目摄像头的离线标定，得到双目摄像头的参数；

将双目摄像头接入Zynq UltraScale+MPSoC的PL部分，然后将双目摄像头和PL进行同步触发，采集实时双目图像；

S3、根据双目摄像头的参数生成自定义IP，在PL中，调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配，从而生成实时视差图；

S4、将实时视差图传输给Zynq UltraScale+MPSoC的PS部分，并与其中的DDR4内存进行数据交互，同时生成Linux内核和文件系统管理DDR4中的图像缓存。

2.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，双目摄像头的选型要求为：采用全局曝光方式、采用小封装和具有外触发模式。

3.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，摄像头芯片为AR0144CMOS芯片。

4.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，在步骤S2中，采用Matlab标定工具箱进行双目离线标定，得到的双目摄像头的参数包括相机内参矩阵和畸变系数。

5.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，双目摄像头具有MIPI输出接口，MIPI输出接口通过MIPI CSI-2Rx Subsystem模块接入PL；两个摄像头芯片的Trigger引脚连接至同一个PL引脚，以此进行同步触发。

6.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，在步骤S3中，采用Vivado HLS高层次综合生成自定义IP，过程如下：

(1)新建HLS工程；

(2)在Source选项中新建一个顶层文件Top.cpp，根据双目摄像头的参数，在该顶层文件中利用C/C++语言编程的函数进行功能自定义，自定义的功能包括相机校正和双目立体匹配；

在Source选项中新建一个库文件Top.h，在该库文件中利用Top.cpp的库函数进行图像相关的宏定义和函数声明；

(3)为验证上述HLS算法的正确性，在Test Bench中新建测试文件Test.cpp，调用Top.cpp程序函数接口，在该测试文件中将上述HLS算法实现效果与OPENCV库的算法实现效果进行对比；

(4)对HLS算法进行代码优化，使其能适应Zynq平台；

(5)选择Project下拉菜单中的Project Settings，Synthesis选择Top.cpp中核心算法作为顶层函数；

(6)进行综合和仿真，并将仿真得到的图像与OPENCV库的算法仿真得到的图像进行对比验证；

(7)算法验证通过之后，选择Solution下拉菜单中的Export RTL对算法进行命名，从而将算法封装成IP核。

7.根据权利要求6所述的可实现硬件加速的双目感知方法，其特征在于，在步骤(2)中，宏定义包括：将AXI4-Stream总线定义为hls::streamap_axiu24,1,1,1，将RGB图像定义为hls::MatMAX_HEIGHT,MAX_WIDTH,HLS_8UC3，将灰度图像定义为hls::MatMAX_HEIGHT,MAX_WIDTH,HLS_8UC1；

函数声明包括图像宽MAX_WIDTH和高MAX_HEIGH，文件输入和输出路径。