[发明专利]基于多处理器片上系统的多源图像融合装置和方法

说明书

技术领域

本发明属于图像融合技术领域，涉及一种基于多处理器片上系统的多源图像融合装置。

背景技术

多源图像融合是目标识别的预处理过程，通过融合得到目标图像能够获取多种传感器对于目标的有用信息，克服由单一传感器的局限性给目标识别带来的不利影响，提高对虚假目标的区别能力，从而满足装置的精确性、全天候性、抗干扰性。与单一图像目标识别装置相比，多源图像融合有原始图像海量数据存储，缓存数据吞吐量成级数增加，多路数据并行高速处理等问题，使信息处理系统的实时性有很大压力；同时图像融合系统为目标探测与识别系统的前置预处理环节，这要求该系统具有体积小、可扩展性强、重量轻等特点。目前解决该问题的技术有：①利用7片TMS320C32 DSP组成“红外/可见光双通道数字图像融合处理系统”，该系统中一片核心DSP(数字信号处理器)用于系统控制、各节点处理器初始化、任务调度与协调，不参与数据处理；另外6片DSP分为两组，分别对应一个通道，完成局部通道处理，及全局处理。此系统通过合理分配融合算法及任务调度可以达到双通道的实时处理要求，但难以满足多源图像处理系统的小体积、轻重量需求。②利用FPGA设计“双波段实时红外融合系统”。该系统利用FPGA(现场可编程门阵列)的吞吐率高、处理速度快的优势完成了拉普拉斯金字塔多分辨分解的双路图像融合单片实现。但该设计完全通过片内逻辑资源，未采用FPGA片内处理器来实现，由于其单纯的使用逻辑资源设计，其控制灵活度较低从而可扩展性较低。

发明内容

有鉴于此，本发明提供了一种基于多处理器片上系统的多源图像融合装置，根据多源图像融合算法的特点，将算法分解为4个步骤，分布在FPGA中的软核和用户IP核中实现，提高融合系统的片上集成度，而且可以提高多源图像融合处理速度。

为了解决上述技术问题，本发明是这样实现的：

一种基于多处理器片上系统的多源图像融合装置，该装置采用FPGA实现，该FPGA包括：局部处理器CPU_A₁～CPU_A_n、重构IP核、本地存储器、多分辨分解IP核IP_A₁～IP_A_n、片上计时器、片上以太网控制器、多端口存储控制器MPMC、总线BUS0、总线BUS1、融合判决处理器CPU₁～CPU_m和中断控制器；所述局部处理器和融合判决处理器为FPGA的CPU软核；重构IP核和多分辨分解IP核为根据多源图像融合算法设计的用户IP核，是使用片内逻辑资源设计的自定义硬件逻辑模块；

每个局部处理器和每个融合判决处理器均连接一个本地存储器，CPU_A₁～CPU_A_n、重构IP核、片上计时器、片上以太网控制器和中断控制器均接入总线BUS0；局部处理器CPU_A₁～CPU_A_n一对一地对应连接多分辨分解IP核IP_A₁～IP_A_n，局部处理器CPU_A₁～CPU_A_n均接入总线BUS1；IP_A₁～IP_A_n以及重构IP核均通过多端口存储控制器本地端口接口MPCM NPI接口接入MPMC，MPMC同时接入BUS0和BUS1；

片上以太网控制器，负责通过连接的外部以太网接口完成源数据输入和处理结果的输出；

MPMC，用于连接片外存储介质，采用片外存储介质存储待处理源数据以及融合处理中间量；

CPU_A₁～CPU_A_n，用于负责调用多分辨分解IP核IP_A₁～IP_A_n，及多分辨分解IP核与MPMC的数据吞吐交互控制，CPU_A及IP_A的个数n为源图像数；

IP_A₁～IP_A_n，用于并行执行多路源图像局部预处理及多分辨分解；每完成一级分解在MPMC连接的片外存储介质中存储相应层级的完成标志位；

CPU₁～CPU_m，每个CPU负责一个层级的图像序列融合判决，在检测到对应层级的完成标志位时执行本层级的图像序列融合判决；同时CPU₁还负责源数据传输控制，CPU_m还负责叠代重构控制；m为多分辨分解级数；