[发明专利]一种基于深度学习的电梯内异常行为检测系统

权利要求书

1.一种基于深度学习的电梯内异常行为检测系统，其特征在于，所述系统包括音视频管理模块、深度学习检测模块和数据分析模块；

所述音视频管理模块包括数据获取模块、数据存储模块和API接口模块；所述数据获取模块能够实时获取电梯部署的摄像头和麦克风的视频和音频数据，所述数据存储模块存储所述数据获取模块获取的视频和音频数据，所述API接口模块开放接口以供其他模块调用数据；

所述深度学习检测模块与所述音视频管理模块连接，所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习检测模块包括视频异常行为检测模型和音频异常行为检测模型；所述深度学习检测模块通过API接口模块调用所述视频和音频数据；所述数据标注模块对数据中选定的音频和视频进行标注；所述模型训练模块使用标注的视频数据训练视频异常行为检测模型，使用标注的音频数据训练音频异常行为检测模型，对两者检测数据融合后进行统一分析，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对视频和音频数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；

所述数据分析模块与所述深度学习检测模块连接，所述数据分析模块包括数据预处理模块和结果分析模块；所述数据预处理模块对所述检测数据进行滤波，所述结果分析模块对滤波后的检测数据进行分析，并对滤波后的检测数据和/或分析结果进行存储；所述结果分析模块包括可视化模块和提醒模块，所述可视化模块对原始视频和检测分析结果进行可视化操作，所述提醒模块对不符合规定的操作进行提醒；

所述模型训练模块采用卷积网络加上全连接网络对视频数据进行训练；所述模型训练模块采用8层3维卷积网络加上3层全连接网络对视频数据进行训练；

所述模型训练模块采用Wavenet网络加上全连接网络对音频数据进行训练；所述模型训练模块采用Wavenet网络加上2层全连接网络对音频数据进行训练；

所述数据标注模块包括标注工具模块和检测工具模块，所述标注工具模块对数据进行标注，所述检测工具模块对标注工具模块的标注结果进行检测；

用户选定需要标注的视频后会在音视频显示区显示视频，音频、视频两类数据在时间上已同步，故只需对视频进行标注时间段，音频时间段与其相同；再使用两层全连接层对上述获得的数据进行跨媒体数据融合，得到最终的结果。