[发明专利]一种基于图像分析的声音过滤系统及其声音过滤方法有效

专利信息
申请号: 201911264104.2 申请日: 2019-12-11
公开(公告)号: CN110933254B 公开(公告)日: 2021-09-07
发明(设计)人: 卢锡芹;陈尚武;金国庆;吴宣辉;冯超庭 申请(专利权)人: 杭州叙简科技股份有限公司
主分类号: H04N5/04 分类号: H04N5/04;H04N5/232;H04N5/76;H04N7/18;G01S5/20;G06K9/00;G06K9/46;G10L21/003;G10L21/0216;G10L25/51
代理公司: 北京科亿知识产权代理事务所(普通合伙) 11350 代理人: 汤东凤
地址: 310012 浙江省杭州市余杭区*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 图像 分析 声音 过滤 系统 及其 方法
【权利要求书】:

1.一种基于图像分析的声音过滤系统,其特征在于,包括如下功能模块:

阵列麦克风模块(1):用于承当可变指向麦克风,接受声音方位计算模块(3)的控制,来监控指定方向的声音,输出过滤后的声音给声音增益调节模块(2);

声音增益调节模块(2):用于接收阵列麦克风模块(1)的声音数据、事件位置预测模块(4)检测到的区域的位置信息和人员检测模块(5)检测到的所有人员位置与大小,按照区域的位置信息过滤出符合人员,按照过滤出的人员的平均大小,对声音数据进行增益调节,把调节好声音转给数据同步模块(6);

声音方位计算模块(3):用于接收事件位置预测模块(4)检测到的区域的位置信息,计算出需要监听的方向与范围,发送给阵列麦克风模块(1);

事件位置预测模块(4):用于根据人员检测模块(5)上报图像的人员检查结果,分析多人员的移动方向,预判出可能的纠纷以及打架事件的区域,通知声音方位计算模块(3)该区域的位置信息;

人员检测模块(5):使用目标检测算法检测出图像出现人员,把人员位置通知给事件位置预测模块(4)与声音增益调节模块(2);

数据同步模块(6):接收声音增益调节模块(2)的音频,接收全景摄像头模块(8)的视频图像数据;根据时戳值进行同步;把同步后的数据给数据录制模块(7);

数据录制模块(7):保证音视频数据的存储;

全景摄像头模块(8):用于负责监控视频数据采集,输出视频数据给人员检测模块(5)。

2.一种基于图像分析的声音过滤方法,其特征在于,包括如下步骤:

步骤1:全景摄像头模块(8)采集真实世界的图像数据,输出图像数据给人员检测模块(5);

步骤2:人员检测模块(5)采用目标检测算法识别出图像数据出现的所有人;

步骤3:事件位置预测模块(4)根据人员检测模块(5)上报图像的人员检查结果,预判出可能的纠纷以及打架事件的区域,通知声音方位计算模块(3)该区域的位置信息;

步骤4:声音方位计算模块(3)接收事件位置预测模块(4)检测到的区域的位置信息,计算出需要监听的方向与范围,发送给阵列麦克风模块(1);

步骤5:使用麦克风阵列做信号的提取和分离特性,阵列麦克风模块(1)使用声源信号分离技术将声音全部分离提取出来,阵列麦克风模块(1)接收到监听的方向与范围的角度值,对分离后声音进行过滤,最终得到监听目标的声音;

步骤6:声音增益调节模块(2)接收阵列麦克风模块(1)的声音数据、事件位置预测模块(4)检测到的区域的位置信息和人员检测模块(5)检测到的所有人员位置与大小;按照区域的位置信息过滤出符合人员,按照过滤出的人员的平均大小,调节系数A除以过滤出的人员的平均大小,作为增益系数对声音数据进行增益调节,把调节好声音转给数据同步模块(6);实现人员目标比较远时,进行声音放大效果;

步骤7:数据同步模块(6)接收声音增益调节模块(2)的音频,接收全景摄像头模块(8)的视频图像数据;根据时戳值进行同步,按照音频时戳为基准插入对应时间视频图像数据;把同步后的数据给数据录制模块(7);

步骤8:数据录制模块(7)保证音视频数据的存储。

3.根据权利要求2中所述的一种基于图像分析的声音过滤方法,其特征在于,步骤3的具体流程如下:

3.1、事件位置预测模块(4)分析视频图像中所有的人员移动方向,对图像中每个人的区域的每个像素的RGB(红绿蓝)的数值,分别进行平均值计算,得到每个人的RGB均值,R占比为 R均值/(R均值+G均值+B均值),G占比为 G均值/(R均值+G均值+B均值),B占比为 B均值/(R均值+G均值+B均值),最终得到RGB(红绿蓝)分别占比值;对原有图像的每个人员与新图像的所有人员进行RGB占比值进行差值计算得到差值,取RGB(红绿蓝)占比的差值的平均值,如果差值平均值小于阀值T,则把该人员加入候选清单,候选清单的人员与原有图像的人员距离最近的判断为同一人;同一人员从原有图像到新图像的变化方向,为该人员的移动方向;

3.2、把所有人员的移动方向在图像做延长线,延长线互相相交生成交叉点,查询图像中交叉点最密集区域为可能的纠纷以及打架事件区域,通知声音方位计算模块(3)该区域的图像位置。

4.根据权利要求2中所述的一种基于图像分析的声音过滤方法,其特征在于,步骤4的具体流程如下:

4.1、声音方位计算模块(3)分析监听的方向,具体包括:根据全景摄像头模块(8)的镜头安装角度得到图像中心点角度值,根据全景摄像头模块(8)的镜头的可视角度值得到图像两边的角度值,对区域的图像位置进行线性计算,完成图像空间位置到真实世界方位转换,最终得到声音方位计算模块(3)监听的中心的方向;

4.2、声音方位计算模块(3)分析监听的范围,具体包括:计算图像的所有人与区域在图像位置的平均距离,以平均距离乘以系数作为声音在图像中范围区域,使用步骤4.1完成图像范围到真实世界角度范围转换;

4.3、声音方位计算模块(3)把计算好监听的方向与范围,发送给阵列麦克风模块(1)。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州叙简科技股份有限公司,未经杭州叙简科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911264104.2/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top