[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；

将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。

2.根据权利要求1所述的方法，其特征在于，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；

所述第一特征提取层，用于提取所述待处理图像序列的图像特征；

所述第二特征提取层，用于提取所述待处理声音数据的声音特征；

所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；

所述输出层，用于根据所述第一融合特征，输出所述事件类型。

3.根据权利要求2所述的方法，其特征在于，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；

所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；

所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。

4.根据权利要求2所述的方法，其特征在于，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。

5.根据权利要求2所述的方法，其特征在于，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。

6.根据权利要求5所述的方法，其特征在于，所述事件分析模型，还包括：第二特征融合层；

所述第一特征融合层的输出为所述第二特征融合层的输入；

所述第二特征融合层的输出为所述输出层的输入；

所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；

所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。

7.根据权利要求6所述的方法，其特征在于，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：

所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；

所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；

所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于预设距离阈值。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述事件类型为异常事件类型，则控制预警装置进行预警。

9.根据权利要求8所述的方法，其特征在于，所述预警装置，包括以下任意一项或者组合：

警示灯、警铃、喇叭、蜂鸣器和发光二极管。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述事件类型为异常事件类型，则确定所述声音采集设备和/或所述图像采集设备的位置信息，并控制语音提示装置播放携带所确定的所述位置信息的提示语音。