[发明专利]一种光学图像与声学图像融合方法及系统

说明书

一种光学图像与声学图像融合方法及系统涉及一种基于光学图像上的二维声学成像领域。系统实现由麦克风阵列单元、数据采集卡单元和上位机单元三部分构成，麦克风阵列单元包括一个相机和若干个性能完全一致的麦克风组成。工作中，首先由麦克风阵列将声源信号转化为电信号并对目标声源信号进行放大处理，然后采用数据采集卡进行多通道数据同步采集，最后由上位机单元中对声学图像和光学图像进行融合，并通过上位机系统的外围设备的显示器输出。麦克风阵列单元与声数据采集卡单元的硬件部分均用导线相互连接。本发明通过解算光学图像每个像素点对应的声学图像的俯仰角θ和方向角的关系，可以方便地进行图像融合，系统简单，容易实现。

技术领域

本发明涉及一种光学图像与声学图像融合的方法及其系统实现，尤其涉及一种基于光学图像上的二维声学成像算法及相应系统。

背景技术

声学成像通过测量一定空间内的声波到达各麦克风的信号相位差异，依据相控阵原理确定声源的位置，并以图像的方式显示声源在空间的分布，取得空间声场分布云图(声像图)，其中以图像的颜色和亮度代表声音的强弱。较于其他感官，眼睛获取信息往往要更加迅速和直观，在故障处理、噪声分布等领域，通过声学成像可以提供快速、准确的声源目标分布图，有利于对故障目标(声源点)的进一步分析处理。

发明内容

本发明通过麦克风阵列采集声音并生成声学图像，并通过工业相机采集光学图像信息，创建叠加融合在光学图像上的声学图像，实现声学故障目标(声源点)的可视化。

本发明首先进行相机标定。对于空间中的声源点P，求取它在图像坐标系中的坐标p(x,y)。由相机坐标系和图像坐标系的关系可知，p(x,y)可以由声源点P在相机坐标系下的坐标P(X_C,Y_C,Z_C)得到：

式中，dx,dy,u₀,v₀,f均为相机的内参，其中f为相机的焦距；dx和dy分别表示图像中x方向和y方向的一个像素占多少长度单位，即图像坐标系中一个像素代表的实际物理值的大小；u₀和v₀分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。以上参数都只与相机的型号有关，均可通过标定相机得到。

对上式进计算、化简，可以得到：

而声源点P在相机坐标系下的坐标P(X_C,Y_C,Z_C)也可以用球坐标系表示为：

相机固定在麦克风阵列平面上，本发明中，相机固定在麦克风阵列的物理中心点。所以θ是声源点P的俯仰角，而是声源点P的方位角，r是声源到阵列中心的距离。

将公式(3)代入到公式(2)中，得：

通过(4)式，可以得到光学图像坐标中任意一点的坐标p(x,y)与声源点P到相机中心的俯仰角θ和方向角之间的一一对应关系。

取得坐标p(x,y)与声源点P到相机中心的俯仰角θ和方向角之间对应关系后，进行声学成像，过程如下：

1)顺次取光学图像中的任意像素点的坐标(x,y)；

2)根据公式(4)，求得每个像素点(x,y)对应的俯仰角θ和方向角

3)对求得的进行波束形成，得到(x,y)点对应的声学成像。以图像的颜色和亮度代表声音的强弱，在光学图像中对应像素点标出。

本发明的优势在于：