[发明专利]一种声像联合的监控方法及系统

权利要求书

1、一种声像联合的监控方法，是采用声音信号与视频信号同时使用来进行环境监测，利用声音信号的识别结果引导值班人员有选择地观察视频窗口，帮助值班人员对重点、嫌疑区域进行重点观测；声音信号的处理首先包括特征提取、模型训练、声音分类、在线学习这些步骤，最后为危险等级评估步骤：

一、特征提取步骤：

(a)短时特征：选取MFCC的阶数为L时，特征向量可表示为，

M＝[c₁，c₂，Λ，c_L]

(b)全局特征：提取以下的特征，它们各自的数学定义如下，

设待处理的声音单元被分为N个帧，P＝(p₁，p₂，Λ，p_k)是各个帧的基频：其中k为本段数据中存在基频的帧数。

1)基频的均值：w1=1kΣl=1kpl]]>

2)基频变化率：w₂＝max(p₂-p₁，p₃-p₂，Λ，p_k-p_k-1)

3)基频的标准离差：w3=1kΣl=1k(pl-w1)2]]>

4)含基频声音所占比例：w4=kN]]>

5)最长含基音声音长度：w₅(单位是帧)

6)声音平均能量：w6=1NΣl=1NEl,]]>其中E_i(i＝1，2，…，N)是第i帧的声音能量。

7)声音强度的标准离差：w7=1NΣl=1N(El-E‾)2,]]>其中E是平均声音能量。

8)第一共振峰w₈(频率)

9)第二共振峰w₉(频率)

10)语速w10=t1n,]]>特指在声音为语音时，说话人的语速。主要用于辨别是否发生争吵事件。t₁指每句话的持续时间，其中包含音节间的停顿，n指的是发音的音节数。

这10个特征组成一个特征向量如下：

W＝[w₁，w₂，Λ，w₁₀]

二、模型训练步骤：

针对以上特征，对所获取的各类声音的样本进行计算和特征参数统计，为每个类别的声音建立模型，采用高斯混合模型进行训练；

三、声音分类步骤：

分类器可以选择统计分类中的一些基本的方法，如高斯混合模型、贝叶斯分类器，K近邻分类器，或者神经网络类中的支持向量机分类器等。

四、在线学习步骤：对声音模型和声音特征在分类器中各个参数的优化和适应。

五、危险等级评估步骤：

确定了声音的种类后，再将危害性声音的程度确定出来，即根据声音的类型，与定义好的危险系数权值对应后获得待测声音的危险等级。