[发明专利]一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法

说明书

本发明公开了一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，该方法包括以下步骤：1)在车内设置摄像头与麦克风；2)对采集的音频进行语音识别，获取车内氛围识别结果；3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；4)当目标检测对象离车窗的距离小于设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。本发明通过摄像头硬件架设的方式限制，将硬件与识别方式紧密结合，更具系统性；只通过目标检测便可判断出婴儿/宠物是否趴窗，方法简易有效，时效性强。

技术领域

本发明涉及计算机视觉技术，尤其涉及一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法。

背景技术

近些年来越来越多的人拥有了自己的汽车，为了更好的出行感受，私家车也应该更加智能，像检测到车内氛围并主动打开氛围灯、消息推送，在后排出现婴儿/宠物时，预测趴窗场景并及时通知司机。这些问题是汽车为乘员提供暖心、便捷服务的重要体现。在此背景下，我们亟需一种面向私家车内后排婴儿/ 宠物趴窗判别及车内氛围识别方法。

私家车内场景识别包括后排婴儿/宠物趴窗识别和车内氛围识别。对于这些场景，目前也没有一套完整的识别系统。因此，本发明描述了完整的识别方案并提出了一种简单而有效的检测方法：将采集到的音频信息进行语音识别和主题分类，再把从特定角度拍摄到的视频仅通过目标检测识别出婴儿/宠物到车窗距离，实现私家车内场景的识别。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法。

本发明解决其技术问题所采用的技术方案是：一种面向私家车内后排婴儿/ 宠物趴窗判别及车内氛围识别方法，包括以下步骤：

1)在车内设置摄像头与麦克风，所述摄像头设置如下：后排设置两个；

2)对采集的音频进行语音识别，获取车内氛围识别结果；

3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；具体如下：

3.1)将视频转为视频帧序列；

3.2)将图片输入到特征提取网络，得到多尺度特征图，将每个特征图被分为若干块，对每一块进行预测，得到预测的目标检测对象边界框中心点和对象边界框大小；

3.3)通过YOLOv3模型，获取目标检测对象边界框的中心点坐标和边界框的宽和高在内的参数，通过参数计算目标检测对象离车窗的距离；

4)当目标检测对象离车窗的距离小于设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。

按上述方案，所述步骤1)中摄像头设置如下：两个摄像头分别安装在车内左右两侧，视角朝向后排，同时保证这两个摄像头一边的视野范围与车窗的边线对齐，如安装在右边的摄像头，保证摄像头视野的右边与车窗的右边线对齐，左边同理；。

按上述方案，所述步骤2)中采集的音频进行语音识别，获取车内氛围识别结果；具体如下：

2.1)将语音信号转换为神经网络需要的二维频谱图像信号，即语谱图；

2.2)将语谱图作为输入，放入声学模型，将声学信号转为拼音标签序列；

2.3)CTC解码：在语音识别系统的声学模型的输出中，将连续相同的符号合并为同一个符号，然后再去除静音分隔标记符，得到最终实际的语音拼音符号序列；

2.4)使用统计语言模型，将拼音转换为最终的识别文本并输出；

2.5)使用LDA主题分类模型将识别到的文本进行主题分类；

2.6)根据主题分类的结果获得车内氛围识别结果。