[发明专利]一种车厢内多模态行为分析方法和系统在审
申请号: | 202111456655.6 | 申请日: | 2021-12-01 |
公开(公告)号: | CN114373199A | 公开(公告)日: | 2022-04-19 |
发明(设计)人: | 丁言中;王鸣;梁家恩 | 申请(专利权)人: | 云知声智能科技股份有限公司 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V40/20;G06T7/246;G06T7/73;G06Q50/26;G06Q50/30;G10L15/20;G10L15/22;G10L15/26;G10L25/51 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100096 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 车厢 内多模态 行为 分析 方法 系统 | ||
本发明涉及一种车厢内多模态行为分析方法和系统,其中,该方法包括:采集车厢内的图像和语音;根据所述图像判断车厢内预先划定的区域内是否有人入侵;检测所述语音中是否存在关键词;若判断所述区域内有人入侵,和/或,所述语音中存在关键词,则发出警告。本发明提供的技术方案,通过对车厢内人员的图像和语音两种行为模态的分析,能够及时发现车厢内可能存在的威胁行车安全的危险行为并进行警告,以避免危险的发生,有效提高了行车的安全性。
技术领域
本发明属于安全驾驶及智能识别领域,具体涉及一种车厢内多模态行为分析方法和系统。
背景技术
在公交、地铁、出租车等公共交通出行领域,一些因乘客危险行为而造成的交通事故时有发生,例如,乘客入侵驾驶员区域或者通过言语等行为干扰驾驶员驾驶,这些行为会对出行安全造成威胁。针对这一问题,目前只能在事后对相关人员的责任进行追究,无法在发生相关行为时及时发现和警示。
发明内容
本发明提供一种车厢内多模态行为分析方法和系统,能够解决如何及时发现威胁公共交通安全行为并进行警示的技术问题。
本发明解决上述技术问题的技术方案如下:
第一方面,本发明提供一种车厢内多模态行为分析方法,包括:
采集车厢内的图像和语音;
根据所述图像判断车厢内预先划定的区域内是否有人入侵;
检测所述语音中是否存在关键词;
若判断所述区域内有人入侵,和/或,检测到所述语音中存在关键词,则发出警告。
进一步,所述预先划定的区域为驾驶员区域,所述根据所述图像判断车厢内预先划定的区域内是否有人入侵,具体包括:
标注所述图像中的人物骨骼;
若所述图像中有除驾驶员以外的人物骨骼进入所述驾驶员区域,则判断所述驾驶员区域内有人入侵。
进一步,所述检测所述语音中是否存在关键词,具体包括:
通过语音关键词检测算法检测所述语音中是否存在关键词,和/或
将所述语音转换成文字后形成的文本与文本库中的关键词进行对比。
进一步,在检测所述语音中是否存在关键词之前,该方法还包括:
通过唇动引擎检测所述图像中的人是否正在说话,将正在说话的人标记为目标人;
根据目标跟踪算法确定所述目标人的位置信息;
根据所述目标人的位置信息确定所述目标人的方位,对所述方位的人声进行定向增强,对于非人声噪声以及有效范围外的声音进行抑制,并输出一路增强后的语音信号,作为后续步骤所处理的语音。
进一步,若判断所述区域内有人入侵,和/或,检测到所述语音中存在关键词,该方法还包括:
保存或上传相关的视频和音频数据。
第二方面,本发明提供一种车厢内多模态行为分析系统,包括:
数据采集模块,用于采集车厢内的图像和语音;
入侵判断模块,用于根据所述图像判断车厢内预先划定的区域内是否有人入侵;
语音检测模块,用于检测所述语音中是否存在关键词;
警告模块,用于若判断所述区域内有人入侵,和/或,检测到所述语音中存在关键词,则发出警告。
进一步,所述入侵判断模块,具体包括:
骨骼标注单元,用于标注所述图像中的人物骨骼;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云知声智能科技股份有限公司,未经云知声智能科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111456655.6/2.html,转载请声明来源钻瓜专利网。