[发明专利]视频回放时间轴上的音频信息显示的系统和方法

说明书

技术领域

本发明大体上涉及包括音频分量的视频数据流。更具体地，本发明涉及在与视频数据流关联的时间轴上显示音频信息的视觉表示的系统和方法。

背景技术

音频数据已经并且将持续在安全系统中扮演至关重要的角色。例如，在已知视频监控系统中所记录的许多数据流包括视频和音频分量这二者。

音频分析在本领域中是已知的，并且一些网际协议摄像机已集成了在摄像机中执行音频分析的系统和方法。然而，不存在生动地呈现与视频数据流关联的音频信息以使得用户能够容易且轻易地识别感兴趣的音频信息的已知系统和方法。例如，不存在供用户定位在视频数据流中的异常音频记录和/或识别何时异常音频发生的时间的已知系统和方法。已知系统和方法而是要求用户听音频来识别并定位感兴趣的音频信息。

据此，存在对于在与视频数据流关联的时间轴上显示音频信息的视觉表示的系统和方法的持续且不间断的需要。

附图说明

图1是显示音频频率的图表；

图2是根据所公开的实施例的用于音频频率视觉化的图表；

图3是根据所公开的实施例的用于音频音量视觉化的图表；

图4是根据所公开的实施例的方法的流程图；

图5是根据所公开的实施例的用于执行图4的方法和其他方法的系统的框图；以及

图6是根据所公开的实施例的在图形用户界面上显示的时间轴的视图。

具体实施方式

虽然本发明容许采用许多不同形式的实施例，但附图中将示出以及本文中将详细描述其特定实施例，其中应理解，要将本公开视为本发明的原理的范例。并不意在将本发明限制到特定的所说明的实施例。

本文中所公开的实施例包括在与视频数据流关联的时间轴上显示音频信息的视觉表示的系统和方法。例如，本文中所公开的系统和方法能够向用户提供与视频数据流关联的音频信息的概观。因而，系统和方法能够允许用户容易识别并定位任何异常音频、以及例如射击声、打碎玻璃声、人类语音等之类的异常音频的类型、和异常音频在所关联的视频数据流内发生的时间。

根据所公开的实施例，能够通过音频频率和/或音频音量来对音频信息进行分类。例如，能够将不同的频率和音量级别映射为颜色域中的不同颜色，并且将其存储和/或嵌入在所关联的视频数据流的文件中。

已知人类能够听到和感测在大约20 Hz与大约20,000 Hz之间的频率的音频，虽然当被各种环境因素所影响时，该频率的范围会变化。图1是显示音频频率的图表100，并且如在图1中所看到的，能够将音频频率分成三组：在大约20 Hz以下的频率110、在大约20 Hz与大约20,000 Hz之间的频率120、以及在大约20,000 Hz以上的频率130。

根据所公开的实施例，具有不同频率和/或音量的音频信息能够利用不同的颜色和明暗来表示，并且能够在与视频数据流关联的时间轴上被视觉地显示。例如，图2是根据所公开的实施例的用于音频频率视觉化的图表200，并且图3是根据所公开的实施例的用于音频音量视觉化的图表300。

 如在图2中所看到的， 处于第一频率范围（例如，小于大约20 Hz）210中的音频信息能够利用第一颜色（例如，绿色）来表示。处于第二频率范围（例如，在大约20 Hz与大约20,000 Hz之间）220中的音频信息能够利用第二颜色（例如，红色）来表示。处于第三频率范围（例如，大于大约20,000 Hz）230中的音频信息能够利用第三颜色（例如，蓝色）来表示。

类似地，处于第一音量范围（例如，小于大约10 dB）310中的音频信息能够利用第一色彩明暗或暗度来表示。处于第二音量范围（例如，大于大约100 dB）370中的音频信息能够利用第二色彩明暗或暗度来表示。处于第一与第二音量范围之间的不同范围（例如，在大约10 dB与大约20 dB之间的范围320、在大约20 dB与大约40 dB之间的范围330、在大约40 dB与大约60 dB之间的范围340、在大约60 dB与大约80 dB之间的范围350、在大约80 dB与大约100 dB之间的范围360）处的音频信息能够利用相应的色彩明暗或暗度来表示。例如，如在图3中所看到的，当频率范围从较低的音量范围310改变到较高的音量范围370时，相应的色彩明暗能够从暗渐变到亮。