[发明专利]一种声像联合的监控方法及系统

摘要

本发明属于一种工业环境监控技术，特别地，涉及一种声像联合的监控方法及系统。本发明为克服现有技术存在的仅使用视频监控值班人员容易疲劳，难以辨认有安全隐患的地点，同时视频监控受到功能、视角的限制难以奏效，导致不能及时发现隐患，贻误救援时机的问题，现提出的解决方案是：一种声像联合的监控方法，是采用声音信号与视频信号同时使用来进行环境监测，利用声音信号的识别结果引导值班人员有选择地观察视频窗口，声音信号的处理首先包括特征提取、模型训练、声音分类、在线学习这些步骤，最后为危险等级评估步骤：一、特征提取步骤；二、模型训练步骤；三、声音分类步骤；四、在线学习步骤；五、危险等级评估步骤。

主权项

1、一种声像联合的监控方法，是采用声音信号与视频信号同时使用来进行环境监测，利用声音信号的识别结果引导值班人员有选择地观察视频窗口，帮助值班人员对重点、嫌疑区域进行重点观测；声音信号的处理首先包括特征提取、模型训练、声音分类、在线学习这些步骤，最后为危险等级评估步骤：一、特征提取步骤：(a)短时特征：选取MFCC的阶数为L时，特征向量可表示为，M＝[c1，c2，Λ，cL](b)全局特征：提取以下的特征，它们各自的数学定义如下，设待处理的声音单元被分为N个帧，P＝(p1，p2，Λ，pk)是各个帧的基频：其中k为本段数据中存在基频的帧数。1)基频的均值：$w_1=\frac{1}{k}\underset{l=1}{\overset{k}{\Sigma }}{p}_l$2)基频变化率：w2＝max(p2-p1，p3-p2，Λ，pk-pk-1)3)基频的标准离差：$w_3=\frac{1}{k}\sqrt{\underset{l=1}{\overset{k}{\Sigma }}{(p_l-w_1)}^2}$4)含基频声音所占比例：$w_4=\frac{k}{N}$5)最长含基音声音长度：w5(单位是帧)6)声音平均能量：$w_6=\frac{1}{N}\underset{l=1}{\overset{N}{\Sigma }}{E}_l,$其中Ei(i＝1，2，…，N)是第i帧的声音能量。7)声音强度的标准离差：$w_7=\frac{1}{N}\sqrt{\underset{l=1}{\overset{N}{\Sigma }}{(E_l-\bar{E})}^2},$其中E是平均声音能量。8)第一共振峰w8(频率)9)第二共振峰w9(频率)10)语速$w_{10}=\frac{t_1}{n},$特指在声音为语音时，说话人的语速。主要用于辨别是否发生争吵事件。t1指每句话的持续时间，其中包含音节间的停顿，n指的是发音的音节数。这10个特征组成一个特征向量如下：W＝[w1，w2，Λ，w10]二、模型训练步骤：针对以上特征，对所获取的各类声音的样本进行计算和特征参数统计，为每个类别的声音建立模型，采用高斯混合模型进行训练；三、声音分类步骤：分类器可以选择统计分类中的一些基本的方法，如高斯混合模型、贝叶斯分类器，K近邻分类器，或者神经网络类中的支持向量机分类器等。四、在线学习步骤：对声音模型和声音特征在分类器中各个参数的优化和适应。五、危险等级评估步骤：确定了声音的种类后，再将危害性声音的程度确定出来，即根据声音的类型，与定义好的危险系数权值对应后获得待测声音的危险等级。