[发明专利]一种车厢内多模态行为分析方法和系统

权利要求书

1.一种车厢内多模态行为分析方法，其特征在于，包括：

采集车厢内的图像和语音；

根据所述图像判断车厢内预先划定的区域内是否有人入侵；

检测所述语音中是否存在关键词；

若判断所述区域内有人入侵，和/或，检测到所述语音中存在关键词，则发出警告。

2.根据权利要求1所述的方法，其特征在于，所述预先划定的区域为驾驶员区域，所述根据所述图像判断车厢内预先划定的区域内是否有人入侵，具体包括：

标注所述图像中的人物骨骼；

若所述图像中有除驾驶员以外的人物骨骼进入所述驾驶员区域，则判断所述驾驶员区域内有人入侵。

3.根据权利要求1所述的方法，其特征在于，所述检测所述语音中是否存在关键词，具体包括：

通过语音关键词检测算法检测所述语音中是否存在关键词，和/或

将所述语音转换成文字后形成的文本与文本库中的关键词进行对比。

4.根据权利要求1所述的方法，其特征在于，在检测所述语音中是否存在关键词之前，还包括：

通过唇动引擎检测所述图像中的人是否正在说话，将正在说话的人标记为目标人；

根据目标跟踪算法确定所述目标人的位置信息；

根据所述目标人的位置信息确定所述目标人的方位，对所述方位的人声进行定向增强，对于非人声噪声以及有效范围外的声音进行抑制，并输出一路增强后的语音信号，作为后续步骤所处理的语音。

5.根据权利要求1-4任一项所述的方法，其特征在于，若判断所述区域内有人入侵，和/或，检测到所述语音中存在关键词，还包括：

保存或上传相关的视频和音频数据。

6.一种车厢内多模态行为分析系统，其特征在于，包括：

数据采集模块，用于采集车厢内的图像和语音；

入侵判断模块，用于根据所述图像判断车厢内预先划定的区域内是否有人入侵；

语音检测模块，用于检测所述语音中是否存在关键词；

警告模块，用于若判断所述区域内有人入侵，和/或，所述语音中存在关键词，则发出警告。

7.根据权利要求6所述的系统，其特征在于，所述入侵判断模块，具体包括：

骨骼标注单元，用于标注所述图像中的人物骨骼；

入侵判断单元，用于若所述图像中有除驾驶员以外的人物骨骼进入所述驾驶员区域，则判断所述驾驶员区域内有人入侵。

8.根据权利要求6所述的系统，其特征在于，所述语音检测模块，具体用于：

通过语音关键词检测算法检测所述语音中是否存在关键词，和/或

将所述语音转换成文字后形成的文本与文本库中的关键词进行对比。

9.根据权利要求6所述的系统，其特征在于，还包括：

目标标记模块，用于在所述语音检测模块检测所述语音中是否存在关键词之前，通过唇动引擎检测所述图像中的人是否正在说话，将正在说话的人标记为目标人；

目标跟踪模块，用于根据目标跟踪算法确定所述目标人的位置信息；

语音增强及输出模块，用于根据所述目标人的位置信息确定所述目标人的方位，对所述方位的人声进行定向增强，对于非人声噪声以及有效范围外的声音进行抑制，并输出一路增强后的语音信号，作为所述语音检测模块所处理的语音。

10.根据权利要求6-9任一项所述的系统，其特征在于，还包括：

数据传输模块，用于若所述入侵判断模块判断所述区域内有人入侵，和/或，所述语音检测模块检测到所述语音中存在关键词，保存或上传相关的视频和音频数据。