[发明专利]用于监控系统中的音频事件检测的系统和方法

说明书

公开了一种用于检测和定位音频剪辑中的目标音频事件的方法和系统。该方法和系统的使用利用分层级方案，其中扩张卷积神经网络用以基于高级音频特征来检测音频剪辑中任何地方的目标音频事件的存在。如果在音频剪辑中的某处检测到目标音频事件，则该方法和系统还利用鲁棒的音频向量表示，该音频向量表示对音频的固有状态以及音频状态与在音频剪辑中检测到的特定目标音频事件之间的学习的关系进行编码。双向长短期记忆分类器用于对长期依赖性建模，并基于音频向量表示确定目标音频事件在音频剪辑内的时间方面的边界。

本申请要求2018年2月28日提交的序列号为62/636,185的美国临时申请的优先权权益，所述美国临时申请的公开内容通过引用以其整体并入本文。

技术领域

本公开总地涉及音频分析和人机交互领域，并且更特别地，涉及音频监控领域。

背景技术

除非本文另有指示，否则本部分中描述的材料不是本申请中权利要求的现有技术，并且不因包含在本部分中而被承认为现有技术。

近年来，自动化监控系统已经在私密和公共环境两者中变得越来越流行和重要。大多数现有的监控系统主要工作在视觉级或基于视频信息。该类型的系统的有效性依赖于环境条件。特别地，该类型的系统在夜晚、雾天环境中或其他低可见度条件下很可能失败。热红外传感器可以是侵入性较小的替代方案，但它们高度依赖于温度，并且背景和前景对象之间的分离可能有问题。作为解决方案，使用音频向视频或红外传感器提供补充信息可以大幅增强现有系统。此外，音频模态本身可以提供非常丰富的信号，尤其是在感兴趣的事件具有非常明显的音频特性但不太明显的视觉特性的情景中，诸如婴儿啼哭、玻璃破碎、枪射击或人尖叫。

以理解环境并检测事件和异常为目的的音频事件检测（AED）可以在诸如智能家居和智能汽车之类的各种应用中是有用的。在给定具有安全生活方式的重要性的情况下，智能家居中对AED的需求正在快速增长。此外，使智能家居的行为个性化是增加舒适度和安全性水平的关键方面。随着自主和智能汽车系统的发展，自动化汽车监控系统也越来越令人感兴趣。由于许多现代汽车已经配备有嵌入式语音识别引擎，因此AED系统可以容易地部署在汽车中，并且可以相对容易地提供用于AED的附加计算处理。附加地，AED的私密、非侵入且鲁棒的特性使得在汽车和家庭中，音频监控比其他监控模态更合适。AED具有许多其他应用，诸如监视机器和基础设施、智能设施管理、用于驾驶辅助的外部音频感知等。

近年来，消费者在因特网上生成的音频数据经历了快速增长。据报道，单单流行的YouTube视频服务每分钟就接收300小时的多媒体数据上传。然而，这些消费者产生的数据中的绝大多数携带很少内容注释或没有内容注释。尽管存在包含用于自动化监控系统的事件级注释的一些可用的数据集，但标注的音频事件数据量非常低。因此，大多数音频事件检测研究是对小数据执行其评估的。因此，对检测记录音频数据中的音频事件的、不需要先前注释的训练数据的大语料库的系统的改进将是有益的。

发明内容

公开了一种用于检测和定位音频剪辑中的目标音频事件的方法。所述方法包括：利用处理器接收音频剪辑；利用处理器，基于音频剪辑确定多个音频特征；利用处理器，基于所述多个音频特征使用第一神经网络来确定目标音频事件是否存在于音频剪辑中；响应于确定目标音频事件存在于音频剪辑中，利用处理器基于（i）所述多个音频特征和（ii）目标音频事件来确定多个向量，所述多个向量中的向量指示所述多个音频特征中的音频特征与目标音频事件之间的相关性；以及利用处理器，基于所述多个向量使用第二神经网络来确定目标音频事件在音频剪辑内的时间方面的位置。