[发明专利]一种事件检测方法及装置

权利要求书

1.一种事件检测方法，其特征在于，包括：

将待检测视频作为第一神经网络的输入，通过所述第一神经网络识别待检测视频中的事件，以获得所述事件的事件类型和时间边界，所述时间边界用于表述所述待检测视频中发生所述事件的起始时间和结束时间；

将所述待检测视频、所述事件类型以及所述时间边界作为第二神经网络的输入，通过所述第二神经网络确定视频段中所述事件的事件位置，所述视频段为所述待检测视频中所述时间边界内的视频段，所述事件位置包括所述事件的事件发生区域以及电子围栏区域；所述事件发生区域用于表征所述事件发生在采集设备所拍摄空间的三维空间位置，所述电子围栏区域为在所述事件发生区域基础上扩大设定大小的区域；

将所述待检测视频、所述事件位置作为第三神经网络的输入，通过所述第三神经网络根据所述待检测视频中的所述事件发生区域，识别所述事件的参与对象，并根据所述待检测视频中的所述电子围栏区域，识别所述事件的目击对象；

其中，所述第一神经网络、所述第二神经网络以及所述第三神经网络构成神经网络模型，所述神经网络模型是基于训练样本集训练得到的；

所述训练样本集包括多个视频以及所述多个视频分别对应的视频理解结果和目标检测结果，第一视频的视频理解结果包括所述第一视频中所发生事件的事件类型、时间边界、事件发生区域和电子围栏区域，所述第一视频为所述多个视频中的任一视频，所述第一视频的目标检测结果包括所述第一视频中所发生事件的参与对象和目击对象；

通过如下方式训练所述神经网络模型：

将所述第一视频输入所述第一神经网络，以通过所述第一神经网络输出所述第一视频中所发生事件的预测事件类型和预测时间边界，根据所述预测事件类型与所述训练样本集中所述第一视频所对应的事件类型之间的损失，以及所述预测时间边界与所述训练样本集中所述第一视频对应的时间边界之间的损失确定第一损失值；

将所述第一视频、所述预测事件类型以及所述预测时间边界输入所述第二神经网络，以通过所述第二神经网络输出预测事件发生区域和预测电子围栏区域，根据所述预测事件发生区域与所述训练样本集中所述第一视频所对应的事件发生区域之间的损失，以及所述预测电子围栏区域与所述训练样本集中所述第一视频所对应的电子围栏区域之间的损失确定第二损失值；

将所述第一视频、所述预测事件发生区域和所述预测电子围栏区域输入第三神经网络，以通过所述第三神经网络输出预测参与对象和预测目击对象，根据所述预测参与对象与所述训练样本集中所述第一视频所发生事件的参与对象之间的损失，以及所述预测目击对象与所述训练样本集中所述第一视频所发生事件的目击对象之间的损失确定第三损失值；

对所述第一损失值、所述第二损失值和所述第三损失值进行加权获得第四损失值；

根据所述第四损失值分别对所述第一神经网络的网络参数、所述第二神经网络的网络参数以及所述第三神经网络的网络参数进行调整，以得到所述神经网络模型。

2.如权利要求1所述的方法，其特征在于，所述事件发生区域通过所述事件发生的立方体空间映射到所述待检测视频包括的视频帧中的像素位置指示；

所述事件发生区域满足如下公式所示的条件：

；

其中，Space用于指示所述事件发生区域，表示所述立方体空间底面的四个顶点分别映射的像素点位置，表示所述立方体空间顶面的四个顶点分别映射的像素点位置。

3.如权利要求2所述的方法，其特征在于，所述电子围栏区域为以所述立方体空间底面的中心点为中心，对所述底面等比例放大设定倍数后得到的区域。

4.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

输出事件检测结果，所述事件检测结果包括所述事件类型、所述时间边界、所述事件位置、所述参与对象和所述目击对象。