[发明专利]一种光学图像与声学图像融合方法及系统

权利要求书

1.一种光学图像与声学图像融合方法，其特征在于：

首先进行相机标定：

对于空间中的声源点P，求取它在图像坐标系中的坐标p(x,y)；由相机坐标系和图像坐标系的关系可知，p(x,y)由声源点P在相机坐标系下的坐标P(X_C,Y_C,Z_C)得到：

式中，dx,dy,u₀,v₀,f均为相机的内参，其中f为相机的焦距；dx和dy分别表示图像中x方向和y方向的一个像素占多少长度单位，即图像坐标系中一个像素代表的实际物理值的大小；u₀和v₀分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；以上参数都只与相机的型号有关，均通过标定相机得到；

对上式进计算、化简，得到：

而声源点P在相机坐标系下的坐标P(X_C,Y_C,Z_C)也用球坐标系表示为：

相机固定在麦克风阵列平面上，相机固定在麦克风阵列的物理中心点；所以θ是声源点P的俯仰角，而是声源点P的方位角，r是声源到阵列中心的距离；

将公式(3)代入到公式(2)中，得：

通过(4)式，得到光学图像坐标中任意一点的坐标p(x,y)与声源点P到相机中心的俯仰角θ和方向角之间的一一对应关系；

取得坐标p(x,y)与声源点P到相机中心的俯仰角θ和方向角之间对应关系后，进行声学成像，过程如下：

1)顺次取光学图像中的任意像素点的坐标(x,y)；

2)根据公式(4)，求得每个像素点(x,y)对应的俯仰角θ和方向角

3)对求得的进行波束形成，得到(x,y)点对应的声学成像。

2.根据权利要求1所述的一种光学图像与声学图像融合方法，其特征在于：

以圆阵为研究对象，将M个性能相同的麦克风均匀分布在平面X-Y上一个半径为r的圆周上；以整个阵列模型的中心位置即参考阵元为空间坐标系的圆心，坐标系的X轴为参考阵元与第一个阵元之间的连线，建立起声学成像的空间坐标系；

第m个阵元与x轴之间的夹角表示:

第m个阵元的位置在空间坐标系中表示为：

远场中入射声源的单位向量表示为：

因此第m个阵元与参考阵元之间的延时表示为：

式(8)中c为声速；

声源点的方位矢量表示为：

式(5)中ω＝2πf为载频，λ为信号的波长；方向矢量表示为：

则麦克风阵列的输出表示为：

其中x(t)是麦克风接收到的信号，代表的共轭转置，则麦克风阵列的输出功率为：

其中，R是x(t)的协方差矩阵，R＝E[x(t)x^H(t)]。

3.一种光学图像与声学图像融合系统，其特征在于：

由麦克风阵列单元、数据采集卡单元和上位机单元三部分构成，麦克风阵列单元包括一个相机和若干个性能完全一致的麦克风组成；

多个麦克风组成麦克风阵列，相机放置于阵列的物理中心点；

整个麦克风阵列的物理中心点作为空间坐标系的圆心，实现坐标系的转换；

工作中，首先由麦克风阵列将声源信号转化为电信号并对目标声源信号进行放大处理，然后采用数据采集卡进行多通道数据同步采集，最后由上位机单元中对声学图像和光学图像进行融合，并通过上位机系统的外围设备的显示器输出；麦克风阵列单元与声数据采集卡单元的硬件部分均用导线相互连接。