[发明专利]一种提取蜜蜂访花视频片段的方法和装置

说明书

本发明提供一种提取蜜蜂访花视频片段的方法和装置，通过根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段；从而利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提取精度。

技术领域

本发明涉及视频处理技术领域，更具体地，涉及一种提取蜜蜂访花视频片段的方法和装置。

背景技术

在对蜜蜂访问花朵的研究中，需要收集大量蜜蜂访花的视频资料，多个摄像机同时拍摄多个地点的包含有蜜蜂访问花朵的视频，由于无法确定蜜蜂何时会造访所拍摄的花朵，因此只能连续不间断拍摄，再提取出包含蜜蜂的视频片段。

目前提取出包含蜜蜂的视频片段的方法，一种是由人工提取的方法，提取人员根据观察视频的图像或者收听视频的声音查找视频中包含蜜蜂的视频片段，并手工截取这些视频片段；另一种是利用软件的图像识别方法，即利用视频中有蜜蜂存在时图像的特征，并利用软件设识别这些特征，确定包含蜜蜂的视频片段并提取这些视频片段。

人工提取的方法，需要人工一秒一秒的查找，并手工记录时间节点，人工工作量太大；视频中包含有蜜蜂的视频片段往往只有几秒钟，无法根据手工记录的时间戳来自动分割包含蜜蜂的视频片段；而且无论是采用听觉还是视觉来查找，都只能确定包含蜜蜂的视频片段的大概范围，而不能精确到帧(40毫秒级别)，导致提取的精确度低。利用软件的图像识别方法，由于蜜蜂运动速度较快，且在整个图像中的蜜蜂的目标很小，从视频图像序列中识别蜜蜂的运算过程复杂，识别过程的时间非常长，且极容易发生误识或漏识。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明提供一种提取蜜蜂访花视频片段的方法和装置。

根据本发明的一个方面，提供一种提取蜜蜂访花视频片段的方法，包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。

其中，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，包括：获取视频中音频信号的时域波形；根据包含蜜蜂蜂鸣声的样本视频片段，获取蜜蜂蜂鸣声对应的音频信号能量的阈值范围；根据时域波形和阈值范围，确定第一时间戳和第二时间戳。

其中，根据时域波形和阈值范围，确定第一时间戳和第二时间戳，包括：根据时域波形确定时域波形的包络线；在包络线上选取包络线片段，包络线片段上任意一点的纵坐标的绝对值在阈值范围之内；将包络线片段的起始点在视频中对应的时刻作为第一时间戳，将包络线片段的终止点在视频中对应的时刻作为第二时间戳。

其中，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳之后，还包括：获取第一时间戳和第二时间戳之间的视频中音频信号的梅尔频率倒谱系数；将梅尔频率倒谱系数输入到已训练的分类器；通过分类器确认第一时间戳和第二时间戳之间的视频中包含蜜蜂。

其中，分类器的训练的步骤包括：获取第一预设数量的蜜蜂蜂鸣声的音频信号的第一梅尔频率倒谱系数和第二预设数量的噪声的音频信号的第二梅尔频率倒谱系数，第一预设数量和第二预设数量处于同一数量级；将第一预设数量的第一梅尔频率倒谱系数和第二预设数量的第二梅尔频率倒谱系数输入到分类器，对分类器进行训练。

其中，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段，包括：根据第一时间戳和第二时间戳分割视频；保留第一时间戳和第二时间戳之间的视频片段，作为蜜蜂访花视频片段。