[发明专利]基于音频分析与深度学习的争吵识别方法

说明书

本发明提供的基于音频分析与深度学习的争吵识别方法，包括：采集与应用场景相匹配的语音样本；根据语音样本制作用于情感识别的争吵语音数据集，并构建情感识别模型；根据语音样本制作对话语音数据集，得到相关性系数数据表，并构建对话相关性分类模型；采集待检测音频，提取语音特征和相关性系数；将语音特征输入情感识别模型和将相关性系数输入对话相关性分类模型，实现对争吵语音的判断。本发明提供的基于音频分析与深度学习的争吵识别方法，将争吵识别方法结合情感识别与对话相关性分析，对现实情境下的争吵进行有效的判定，适合应用于公共交通场所，用于辅助管理人员监管，可以及时有效地发现争吵和避免引起相关的后果。

技术领域

本发明涉及人工智能技术领域，更具体的，涉及一种基于音频分析与深度学习的争吵识别方法。

背景技术

公共交通场所人群混杂密集，人与人之间极易产生摩擦、发生口角，进而引发打架、拥挤、踩踏等一系列影响公共交通秩序，妨碍公共交通工具正常运行，乃至危害人身安全的严重后果。然而目前公共场所并未采用专门用于争吵的识别技术，故难以对激烈争吵等采取及时有效的预警与人工干预。

目前国内在争吵等人际交往异常方向的研究扔存在空白。大脑对争吵行为的感知方式可分为“视”和“听”——鉴于争吵行为不同于一般的“举手”、“打球”等规律可循的简单行为，基于视觉的争吵行为识别难度甚高，目前国内外在基于视觉的争吵行为识别领域的研究仍存在空白之处；在音频识别领域，目前国内外在语音情感领域的研究多着眼于说话人基本情感的识别，针对争吵等人际交往异常情况的研究也存在空白之处。

作为人机情感交互的基础，情感识别的研究工作受到越来越多的关注，关于实现情感识别，国内外也涌现出了不尽相同的多种算法模型。但总结来说，情感识别过程一般包括四个部分：数据获取、数据预处理、情感特征获取、情感分类。其中，各个组成部分的实现方法又各有差异。目前，实现情感分类的常用方法主要由：支持向量机(SVM)、决策树、随机森林、隐马尔可夫模型、贝叶斯网络、K-means、线性回归分析、多层感知器、多分类器融合和深度神经网络等。Seppanen[1]等人提取了基频、能量、时长相关的40多维情感声学特征，使用KNN分类器取得了60％的识别率。Li[2]等人在SUSAS情感识别数据库上提取了振幅微扰和频率微扰两种音质特征作为语音情感识别特征，通过MFCC特征与振幅微扰及频率微扰的特征组合达到了69.1％的识别正确率。Hu[3]等人提出一种基于GMM超向量的支持向量机方法用于语音情感识别分类任务，发现基于GMM超向量的SVM分类器要好于单纯的SVM分类器。隋小芸[4]等人提出一种基于局部特征优化的语音情感识别方法，通过聚类分析去除语音中情感特征不显著的语音帧并进行分类，这种通过局部特征优化的语音情感识别方法在语料库上的平均准确率提高5％到17％。

目前，语音情感识别技术已愈渐成熟，虽然基本完成对常见情感的分类，但仍存在以下缺点：(1)国内外关于语音情感识别的研究仍主要着眼于如何综合利用各主流算法模型，提高语音情感识别率；(2)相关研究多是针对单一说话人单个语句的情感识别，未考虑语音对话的特点，难以实现争吵等与情感密切相关的对话异常情况的识别。

发明内容

本发明为克服现有的语音情感识别技术缺乏对现实情境下的争吵等异常情绪进行研究，存在局限于单人单句识别的技术缺陷，提供一种基于音频分析与深度学习的争吵识别方法。

为解决上述技术问题，本发明的技术方案如下：

基于音频分析与深度学习的争吵识别方法，包括以下步骤：

S1：采集与应用场景相匹配的语音样本，包括争吵与非争吵两类数据；

S2：根据语音样本制作用于情感识别的争吵语音数据集，并构建深度神经网络进行训练，得到情感识别模型；

S3：根据语音样本制作用于相关性分析的对话语音数据集，得到相关性系数数据表，并构建支持向量机分类器进行训练，得到对话相关性分类模型；