[发明专利]一种基于图像分析的声音过滤系统及其声音过滤方法有效
申请号: | 201911264104.2 | 申请日: | 2019-12-11 |
公开(公告)号: | CN110933254B | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 卢锡芹;陈尚武;金国庆;吴宣辉;冯超庭 | 申请(专利权)人: | 杭州叙简科技股份有限公司 |
主分类号: | H04N5/04 | 分类号: | H04N5/04;H04N5/232;H04N5/76;H04N7/18;G01S5/20;G06K9/00;G06K9/46;G10L21/003;G10L21/0216;G10L25/51 |
代理公司: | 北京科亿知识产权代理事务所(普通合伙) 11350 | 代理人: | 汤东凤 |
地址: | 310012 浙江省杭州市余杭区*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 图像 分析 声音 过滤 系统 及其 方法 | ||
1.一种基于图像分析的声音过滤系统,其特征在于,包括如下功能模块:
阵列麦克风模块(1):用于承当可变指向麦克风,接受声音方位计算模块(3)的控制,来监控指定方向的声音,输出过滤后的声音给声音增益调节模块(2);
声音增益调节模块(2):用于接收阵列麦克风模块(1)的声音数据、事件位置预测模块(4)检测到的区域的位置信息和人员检测模块(5)检测到的所有人员位置与大小,按照区域的位置信息过滤出符合人员,按照过滤出的人员的平均大小,对声音数据进行增益调节,把调节好声音转给数据同步模块(6);
声音方位计算模块(3):用于接收事件位置预测模块(4)检测到的区域的位置信息,计算出需要监听的方向与范围,发送给阵列麦克风模块(1);
事件位置预测模块(4):用于根据人员检测模块(5)上报图像的人员检查结果,分析多人员的移动方向,预判出可能的纠纷以及打架事件的区域,通知声音方位计算模块(3)该区域的位置信息;
人员检测模块(5):使用目标检测算法检测出图像出现人员,把人员位置通知给事件位置预测模块(4)与声音增益调节模块(2);
数据同步模块(6):接收声音增益调节模块(2)的音频,接收全景摄像头模块(8)的视频图像数据;根据时戳值进行同步;把同步后的数据给数据录制模块(7);
数据录制模块(7):保证音视频数据的存储;
全景摄像头模块(8):用于负责监控视频数据采集,输出视频数据给人员检测模块(5)。
2.一种基于图像分析的声音过滤方法,其特征在于,包括如下步骤:
步骤1:全景摄像头模块(8)采集真实世界的图像数据,输出图像数据给人员检测模块(5);
步骤2:人员检测模块(5)采用目标检测算法识别出图像数据出现的所有人;
步骤3:事件位置预测模块(4)根据人员检测模块(5)上报图像的人员检查结果,预判出可能的纠纷以及打架事件的区域,通知声音方位计算模块(3)该区域的位置信息;
步骤4:声音方位计算模块(3)接收事件位置预测模块(4)检测到的区域的位置信息,计算出需要监听的方向与范围,发送给阵列麦克风模块(1);
步骤5:使用麦克风阵列做信号的提取和分离特性,阵列麦克风模块(1)使用声源信号分离技术将声音全部分离提取出来,阵列麦克风模块(1)接收到监听的方向与范围的角度值,对分离后声音进行过滤,最终得到监听目标的声音;
步骤6:声音增益调节模块(2)接收阵列麦克风模块(1)的声音数据、事件位置预测模块(4)检测到的区域的位置信息和人员检测模块(5)检测到的所有人员位置与大小;按照区域的位置信息过滤出符合人员,按照过滤出的人员的平均大小,调节系数A除以过滤出的人员的平均大小,作为增益系数对声音数据进行增益调节,把调节好声音转给数据同步模块(6);实现人员目标比较远时,进行声音放大效果;
步骤7:数据同步模块(6)接收声音增益调节模块(2)的音频,接收全景摄像头模块(8)的视频图像数据;根据时戳值进行同步,按照音频时戳为基准插入对应时间视频图像数据;把同步后的数据给数据录制模块(7);
步骤8:数据录制模块(7)保证音视频数据的存储。
3.根据权利要求2中所述的一种基于图像分析的声音过滤方法,其特征在于,步骤3的具体流程如下:
3.1、事件位置预测模块(4)分析视频图像中所有的人员移动方向,对图像中每个人的区域的每个像素的RGB(红绿蓝)的数值,分别进行平均值计算,得到每个人的RGB均值,R占比为 R均值/(R均值+G均值+B均值),G占比为 G均值/(R均值+G均值+B均值),B占比为 B均值/(R均值+G均值+B均值),最终得到RGB(红绿蓝)分别占比值;对原有图像的每个人员与新图像的所有人员进行RGB占比值进行差值计算得到差值,取RGB(红绿蓝)占比的差值的平均值,如果差值平均值小于阀值T,则把该人员加入候选清单,候选清单的人员与原有图像的人员距离最近的判断为同一人;同一人员从原有图像到新图像的变化方向,为该人员的移动方向;
3.2、把所有人员的移动方向在图像做延长线,延长线互相相交生成交叉点,查询图像中交叉点最密集区域为可能的纠纷以及打架事件区域,通知声音方位计算模块(3)该区域的图像位置。
4.根据权利要求2中所述的一种基于图像分析的声音过滤方法,其特征在于,步骤4的具体流程如下:
4.1、声音方位计算模块(3)分析监听的方向,具体包括:根据全景摄像头模块(8)的镜头安装角度得到图像中心点角度值,根据全景摄像头模块(8)的镜头的可视角度值得到图像两边的角度值,对区域的图像位置进行线性计算,完成图像空间位置到真实世界方位转换,最终得到声音方位计算模块(3)监听的中心的方向;
4.2、声音方位计算模块(3)分析监听的范围,具体包括:计算图像的所有人与区域在图像位置的平均距离,以平均距离乘以系数作为声音在图像中范围区域,使用步骤4.1完成图像范围到真实世界角度范围转换;
4.3、声音方位计算模块(3)把计算好监听的方向与范围,发送给阵列麦克风模块(1)。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州叙简科技股份有限公司,未经杭州叙简科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911264104.2/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序