[发明专利]雷达和视频融合系统及方法

权利要求书

1.一种雷达和视频融合系统，其特征在于，所述系统包括FPGA处理器，其特征在于，

FPGA处理器包括目标识别单元、雷达信号处理单元和信息融合单元，其中，

所述目标识别单元从视频传感器接收视频信号，并进行信号处理，得到第一目标信息传输给所述信息融合单元；

所述雷达信号处理单元从雷达传感器接收雷达信号，并进行信号处理，得到第二目标信息传输给所述信息融合单元；

所述信息融合单元接收所述的第一目标信息和第二目标信息，并对第一目标信息和第二目标信息进行融合和校验，之后输出控制信息。

2.根据权利要求1所述的系统，其特征在于,所述系统还包括视频传感器、雷达传感器，所述视频传感器传输视频输入到所述目标识别单元，所述雷达传感器传输雷达回波信号到所述雷达信号处理单元。

3.根据权利要求1所述的系统，其特征在于，所述的FPGA处理器还包括下列单元:可编程I/O口、嵌入式块RAM、内嵌专用硬核单元、布线，上述单元的连接关系同常规FPGA处理器中这些单元的连接关系。

4.根据权利要求1所述的系统，其特征在于，所述目标识别单元还包括深度图提取单元，对来自第一视频传感器的第一视频输入和来自第二视频传感器的第二视频输入进行“深度图提取”，得到第一目标信息传输给所述信息融合单元。

5.根据权利要求1所述的系统，其特征在于，所述的目标识别单元和雷达信号处理单元是FPGA处理器的基本可编程逻辑单元。

6.根据权利要求1所述的系统，其特征在于，所述的信息融合单元是FPGA处理器的底层嵌入功能单元。

7.根据权利要求1和2所述的系统,其特征在于，所述的雷达传感器是毫米波雷达传感器。

8.一种雷达和视频融合方法，所述方法包括以下步骤：

A.利用目标识别单元从视频传感器接收视频信号，并进行存储和有效信息提取、亮色分离、出错判决信号处理，得到第一目标信息传输给所述信息融合单元；

B.利用雷达信号处理单元从雷达传感器接收雷达信号，并进行信号处理，该信号处理包括数据重采样、自适应滤波、脉冲压缩、参数估计、恒虚警处理、自适应波速形成，得到第二目标信息传输给所述信息融合单元；

C.利用信息融合单元接收所述的第一目标信息和第二目标信息，并对第一目标信息和第二目标信息进行融合和校验，之后输出控制信息。

9.根据权利要求8所述的方法,其特征在于，对于步骤A，还包括利用所述目标识别单元的深度图提取单元对第一视频输入和第二视频输入进行深度图提取，所述深度图提取流程包括五个模块：图像获取、摄像机标定、图像匹配、三维恢复和视频分析。

10.根据权利要求8所述的方法，其特征在于，所述控制信息包括目标编号、类型、距离、速度和角度。