[发明专利]一种基于Zynq FPGA的光束平差法硬件加速器

说明书

本发明公开基于Zynq FPGA的光束平差法硬件加速器，光束平差法中的舒尔消除、雅各比矩阵更新和成本函数计算部分在Zynq的PL端通过电路设计实现，其他部分在Zynq的PS端通过软件编程实现；加速器PL端根据算法拆分两个硬件电路，舒尔消除使用单独硬件，雅各比矩阵更新和成本函数计算共享同一硬件；加速器内部电路形成不同的计算单元，计算单元之间采用FPGA片上双端口RAM进行数据传递，计算单元内部采用有限状态机，通过状态的转换来控制每步数据的读入、读出和存储；雅各比矩阵更新和成本函数计算模块通过采用解析微分和自动微分相结合的方式求取雅各比矩阵并同时计算成本函数。本发明可大幅降低BA计算能量消耗。

技术领域

本发明涉及硬件加速器技术领域，特别是涉及一种基于Zynq FPGA的光束平差法硬件加速器。

背景技术

光束平差法(Bundle Adjustment,BA)通过同时优化相机参数和三维空间特征点位置来获得最优的视觉重建效果。最优意味着通过最小化量化模型的来找到最优的参数估计值，两者的同时优化意味着无论是三维空间特征点和相机的参数而言，其估计值都是最优的。广泛应用于三维立体场景的重建和同步定位和地图构建(SLAM)。BA的目标是通过最小化重投影误差来找到最优的参数估计，即三维空间点位置和相机参数。该误差被定义为观察到的特征位置与根据输入参数计算点在相机图像平面上位置差的L2范数。

BA是移动机器人视觉系统的重要组成部分，Mur-Artal等人设计了使用BA来优化三维空间结构SLAM系统ORB-SLAM，Agarwal等人利用BA通过15万张照片重构了罗马城，在火星探测任务中，NASA利用BA技术生成了火星地图并优化火星探测器的定位精度。

但目前无论是在SLAM中的机器人本地BA计算还是在离线SfM视觉重建应用中，性能和功耗问题仍然是影响BA应用的瓶颈。当前相关优化BA性能的方法很大程度上依赖于并行处理或分布式计算，其以高功耗换取更高的性能。

发明内容

本发明的目的在于克服上述现有技术的不足，而提供一种基于Zynq FPGA的光束平差法硬件加速器，通过同时优化系统的性能和功效，通过FPGA的并行计算来提嵌入式中光束平差法的计算速度，同时能够节省BA计算所消耗的能量。

为实现本发明的目的所采用的技术方案是：

一种基于Zynq FPGA的光束平差法硬件加速器，其光束平差法中的舒尔消除、雅各比矩阵更新和成本函数计算部分在Zynq的PL端通过电路设计实现，其他部分在Zynq的PS端通过软件编程实现；

加速器PL端根据算法拆分两个硬件电路，舒尔消除使用单独硬件，雅各比矩阵更新和成本函数计算共享同一硬件；

加速器内部电路形成不同的计算单元，计算单元之间采用FPGA片上双端口RAM进行数据传递，计算单元内部采用有限状态机，通过状态的转换来控制每步数据的读入、读出和存储；

雅各比矩阵更新和成本函数计算模块通过采用解析微分和自动微分相结合的方式求取雅各比矩阵并同时计算成本函数。

本发明可以利用共视优化技术降低片上RAM消耗，可以通过复制多个SPU，SchurPE，PRPE以提升硬件加速器的并行度。本发明通过FPGA的并行计算来实现光束平差法加速，性能比嵌入式平台快7.56倍，相比Intel与ARM处理器分别节约76.33％，51.49％的能量。

附图说明

图1是本发明基于Zynq FPGA的光束平差法加速器的硬件架构框图；

图2是本发明舒尔消除加速模块的硬件结构图；

图3是本发明舒尔消除加速模块中SPU的硬件结构图；

图4是本发明雅各比矩阵更新和成本函数计算模块的硬件结构图。