[发明专利]一种联合影像与声学识别技术的鸟类在线监测系统及方法

权利要求书

1.一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，包括：

声学监测装置、光学监测装置和云平台，所述声学监测装置包括鸣声信号采集端、波束形成器和鸣声定位系统，所述鸣声信号采集端用于获取环境噪声和鸟鸣声数据，所述鸣声信号采集端与波束形成器连接，所述波束形成器用于消除环境噪声，所述波束形成器与鸣声定位系统连接，所述鸣声定位系统根据阵列波束合成对鸟类进行定位，所述鸣声定位系统与云平台连接，所述光学监测装置包括图像采集系统、图像识别系统和图像追踪系统，所述图像采集系统用于采集鸟类图像信号，所述图像采集系统与图像识别系统连接，所述图像识别系统用于识别图像采集系统采集的鸟类图像所属的鸟类种类，所述图像识别系统与云平台连接，所述图像追踪系统用于对某一特征的鸟类进行实时追踪，所述图像追踪系统与云平台连接；

所述图像采集系统包括半球形的壳体和安装在半球形壳体凹面的若干个图像采集装置，所述图像采集装置包括第一圆球、伸缩杆、第二圆球和摄像头，所述壳体设有若干个圆槽，所述第一圆球卡接在圆槽内，所述伸缩杆的一端固定连接在第一圆球上，所述伸缩杆的另一端与第二圆球转动连接，所述摄像头与第二圆球固定连接。

2.根据权利要求1所述的一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，所述鸣声信号采集端包括若干个声学基阵，所述声学基阵包括若干个声音传感器，若干个声音传感器安装在鸟类监测地时形成一个空间直角坐标系。

3.根据权利要求1所述的一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，

所述第一圆球的表面覆盖有第一磁铁，所述圆槽与第一圆球接触的一面覆盖有第二磁铁，所述第一磁铁和第二磁铁靠近端的磁性相反。

4.根据权利要求2所述的一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，所述声音传感器包括外壳、若干个驻极体话筒和声音采集电路，若干个所述驻极体话筒分别安装在外壳的四周，所述驻极体话筒与声音采集电路连接，所述声音采集电路与波束形成器连接。

5.一种联合影像与声学识别技术的鸟类在线监测方法，适用于如权利要求1至4任一项所述的一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，包括以下步骤：

步骤s1：采集鸟类图像信号和鸣声信号，设定鸟类与图像对应表以及鸟类与鸣声对应表；

步骤s2：对鸣声进行去噪处理以及鸣声增强处理，提取鸣声声纹特征；

步骤s3：对图像进行分割处理以及图像增强处理，提取鸟类图形特征；

步骤s4：根据鸣声声纹特征，查找鸟类与鸣声对应表，若表中存在相应的特征，则判断鸟类物种类别，对该鸟类进行定位，否则，将该声纹特征记录，建立新的鸟类与鸣声对应表；

步骤s5：根据鸟类图形特征，查找鸟类与图像对应表，若表中存在相应的特征，则判断鸟类物种类别，否则，将该图形特征记录，建立新的鸟类与图像对应表；

步骤s6：云平台结合鸟类图像识别结果、鸣声识别结果以及鸟类定位信息，判断鸟类类别，并结合图像追踪系统，对需要观察的鸟类进行追踪定位。

6.根据权利要求5所述的一种联合影像与声学识别技术的鸟类在线监测方法，其特征在于，所述步骤s2中，采用小波变换的自适应阈值选择方法对鸣声进行增强，在提取声纹特征时，以鸣声音节脉冲作为分析单元，根据傅里叶变换方法，从时域和频域进行分析和处理，提取声纹的时-频特征参数，根据声纹的时-频特征参数全面对比，分析鸣声的物种类别。

7.根据权利要求5所述的一种联合影像与声学识别技术的鸟类在线监测方法，其特征在于，所述步骤s6中，对需要观察的鸟类进行追踪定位时，控制图像采集装置，使图像采集装置的第一圆球或第二圆球转动，使摄像头的拍摄方向可调，通过控制伸缩杆的长度，使摄像头的拍摄高度可调。