[发明专利]一种基于时空与或图的场景目标活动预测方法及装置

权利要求书

1.一种基于时空与或图的场景目标活动预测方法，其特征在于，包括：

获取针对预设场景的场景视频；

通过对所述场景视频中的目标进行检测和跟踪，生成所述预设场景的空间与或图模型；其中，所述空间与或图模型表征所述场景视频中目标的空间位置关系；

对所述空间与或图模型利用子活动提取算法得到表征关注目标的活动状态的子活动标签集；

将所述子活动标签集输入预先得到的时间与或图模型，得到所述预设场景中所述关注目标未来活动的预测结果；其中，所述时间与或图模型是利用预先建立的所述预设场景的目标的活动语料库得到的。

2.根据权利要求1所述的方法，其特征在于，所述通过对所述场景视频中的目标进行检测和跟踪，生成所述预设场景的空间与或图模型，包括：

利用预先训练得到的目标检测网络对所述场景视频中的目标进行检测，得到所述场景视频的每一帧图像中各目标分别对应的属性信息；其中，所述属性信息包括包含所述目标的边界框的位置信息；

基于所述每一帧图像中各目标分别对应的属性信息，利用预设的多目标跟踪算法对所述场景视频的各帧图像中的相同目标进行匹配；

确定每一帧图像中不同目标之间的实际空间距离；

利用匹配后各帧图像对应的目标的所述属性信息以及所述实际空间距离，生成所述预设场景的空间与或图模型。

3.根据权利要求2所述的方法，其特征在于，

所述目标检测网络包括YOLO_v3网络；所述预设的多目标跟踪算法包括DeepSort算法。

4.根据权利要求2或3所述的方法，其特征在于，所述确定每一帧图像中不同目标之间的实际空间距离，包括：

在每一帧图像中，确定每个目标的像素坐标；

针对每个目标，利用单目视觉定位测距技术，计算该目标的所述像素坐标在世界坐标系中对应的实际坐标；

针对每一帧图像，利用该帧图像中每两个目标的所述实际坐标，得到该帧图像中该两个目标之间的实际空间距离。

5.根据权利要求4所述的方法，其特征在于，所述对所述空间与或图模型利用子活动提取算法得到表征关注目标的活动状态的子活动标签集，包括：

将所述空间与或图模型中，所述实际空间距离小于预设距离阈值的成对目标确定为关注目标；

针对每一帧图像，确定每对所述关注目标的实际空间距离和各关注目标的速度值；

通过依次比较后一帧图像和前一帧图像，得到表征每对所述关注目标的实际空间距离变化情况的距离变化信息，以及表征各关注目标的速度值变化情况的速度变化信息；

利用语义标签描述各关注目标依次得到的所述距离变化信息以及所述速度变化信息，生成表征各关注目标的活动状态的子活动标签集。

6.根据权利要求5所述的方法，其特征在于，所述时间与或图模型的构建过程包括：

观察所述预设场景的样本场景视频，提取所述样本场景视频中关于目标的各种事件的语料，建立所述预设场景的目标的活动语料库；

对所述预设场景的目标的活动语料库，使用基于ADIOS的语法归纳算法学习每个事件的符号语法结构，将子活动作为时间与或图的终端节点，得到所述时间与或图模型；其中，所述预设场景的目标的活动语料库中以子活动标签表示目标的活动状态，所述事件由所述子活动的集合构成。

7.根据权利要求5所述的方法，其特征在于，所述将所述子活动标签集输入预先得到的时间与或图模型，得到所述预设场景中所述关注目标未来活动的预测结果，包括：

将所述子活动标签集输入所述时间与或图模型，利用Earley解析器的在线符号预测算法得到所述预设场景下，所述关注目标未来活动的预测结果，所述预测结果包括所述关注目标未来的子活动标签和出现的概率值。