[发明专利]一种用于网约车的违规载客的检测方法及系统

权利要求书

1.一种用于网约车的违规载客的检测方法，其特征在于，该方法包括：

获取车内的录制信息，分别获得视频数据和音频数据；

读取视频数据，提取出视频数据的多个视频特征；

对多个视频特征进行合并处理，获得全局视频特征向量；

读取音频数据，提取出音频数据的多个音频特征；

对多个音频特征进行合并处理，获得全局音频特征向量；

对全局视频特征向量和全局音频特征向量进行多模态融合，获得融合特征；

对融合特征进行分类处理，获得检测模型；

实时获取车内的录制信息，利用检测模型进行违规识别。

2.根据权利要求1所述的一种用于网约车的违规载客的检测方法，其特征在于：所述的获取车内的录制信息，分别获得视频数据和音频数据，具体为：获取车内摄像头的录制视频，读取保存的录制视频，对其进行预处理获得视频数据，获取车内麦克风的录制音频，读取保存的录制音频，对其进行预处理获得音频数据；所述的预处理包括转码、裁剪和去噪。

3.根据权利要求1所述的一种用于网约车的违规载客的检测方法，其特征在于：所述的读取视频数据，提取出视频数据的多个视频特征，具体为：读取视频数据，利用视频提取算法对视频数据进行训练处理，对于视频数据的每一帧，均会生成对应的视频特征，多个视频特征形成连续排列的视频特征序列；所述的视频提取算法包括残差神经网络算法。

4.根据权利要求1所述的一种用于网约车的违规载客的检测方法，其特征在于：所述的对多个视频特征进行合并处理，获得全局视频特征向量，具体为：读取多个视频特征，通过聚合算法对多个视频特征进行训练处理，将视频特征转化为多个视频镜头特征，然后对多个视频镜头特征进行加权求和，获得全局视频特征向量；所述的聚合算法包括卷积神经网络算法。

5.根据权利要求1所述的一种用于网约车的违规载客的检测方法，其特征在于：所述的读取音频数据，提取出音频数据的多个音频特征，具体为：读取音频数据，利用矩阵算法将音频数据转化为音频矩阵数据，然后利用音频提取算法对音频矩阵数据进行训练处理，对于音频矩阵数据的每一时间片段，均会生成对应的音频特征，多个音频特征形成连续排列的音频特征序列；所述的矩阵算法包括梅尔倒谱系数算法，所述的音频提取算法包括音频特征提取网络法。

6.根据权利要求1所述的一种用于网约车的违规载客的检测方法，其特征在于：所述的对多个音频特征进行合并处理，获得全局音频特征向量，具体为：读取多个音频特征，通过聚合算法对多个音频特征进行训练处理，将音频特征转化为多个音频镜头特征，然后对多个音频镜头特征进行加权求和，获得全局音频特征向量；所述的聚合算法包括卷积神经网络算法。

7.根据权利要求1所述的一种用于网约车的违规载客的检测方法，其特征在于：所述的对全局视频特征向量和全局音频特征向量进行多模态融合，获得融合特征，具体为：读取全局视频特征向量和全局音频特征向量，利用融合算法分别对全局视频特征向量和全局音频特征向量进行加权处理，然后采用特征拼接的方式生成融合特征；所述的融合算法为跨模态注意力模型算法。

8.根据权利要求1所述的一种用于网约车的违规载客的检测方法，其特征在于：所述的对融合特征进行分类处理，获得检测模型，具体为：将融合特征输入到多层感知机，多层感知机对融合特征进行多次迭代的计算训练，进而对融合特征进行分类并生成标签，形成融合特征所对应的检测模型。

9.根据权利要求8所述的一种用于网约车的违规载客的检测方法，其特征在于：所述的多层感知机包括输入层、输出层和一个以上的中间隐藏层。

10.一种用于网约车的违规载客的检测系统，其特征在于，该系统包括：

获取模块，用于获取车内的录制信息，分别获得视频数据和音频数据；

视频模块，用于读取视频数据，提取出视频数据的多个视频特征；

视频处理模块，用于对多个视频特征进行合并处理，获得全局视频特征向量；

音频模块，用于读取音频数据，提取出音频数据的多个音频特征；

音频处理模块，用于对多个音频特征进行合并处理，获得全局音频特征向量；

融合模块，用于对全局视频特征向量和全局音频特征向量进行多模态融合，获得融合特征；

建模模块，用于对融合特征进行分类处理，获得检测模型；

检测模块，用于实时获取车内的录制信息，利用检测模型进行违规识别。