[发明专利]一种全景视频自动标注和追踪物体的方法和装置

权利要求书

1.一种全景视频自动标注和追踪物体的方法，其特征在于，该方法包括：

对全景视频中的每帧全景图像进行区域划分，并在划分的每个区域上执行基于多视角的物体标注并存储物体标注信息；

针对全景视频中出现的物体的每类显示属性，根据存储的物体标注信息和以该类显示属性优先的物体追踪原则，生成该类显示属性对应的基于时间线的观察视角；

当接收到用户针对任一类显示属性对应的基于时间线的观察视角的播放请求时，播放该类显示属性对应的基于时间线的观察视角对应的普通视频。

2.根据权利要求1所述的方法，其特征在于，

对全景视频中的每帧全景图像进行区域划分的方法为：

将该帧全景图像划分为多个区域，对划分后的多个区域进行合并处理，将经合并处理后得到的所有区域作为对该帧全景图像的区域划分结果。

3.根据权利要求2所述的方法，其特征在于，

对划分后的多个区域进行合并处理包括：对于划分后的任意两个区域，如果该两个区域存在重合区域，则合并该两个区域；或者，如果该两个区域中心之间的距离小于预设阈值，则合并该两个区域。

4.根据权利要求1所述的方法，其特征在于，

在划分的每个区域上执行基于多视角的物体标注的方法为：

为该区域设定k个观察视角，基于该区域在k个观察视角下的投影图对该区域的物体进行识别和标注，并记录识别出的每个物体在该帧全景图像上的物体标注信息。

5.根据权利要求4所述的方法，其特征在于，

基于该区域在k个观察视角下的投影图对该区域的物体进行识别和标注的方法为：

针对该区域中的每个物体，根据该物体在投影图中的面积从大到小的顺序对该区域在k个观察视角下的投影图进行排序，对排序第一的投影图中的该物体进行识别，如果成功识别出该物体，则对该物体进行标注，否则，对排序第二的投影图中的该物体进行识别，以此类推，直到成功识别出该物体并对该物体进行标注。

6.根据权利要求1所述的方法，其特征在于，

所述物体标注信息包括：全景图像时间戳t、物体标识id；

物体的显示属性包括：持续显示时间；

针对全景视频中出现的物体的持续显示时间，根据存储的物体标注信息和以持续显示时间优先的物体追踪原则，生成持续显示时间对应的基于时间线的观察视角的方法为：

针对全景视频中出现的每个物体，根据该物体的所有标注信息中的全景图像时间戳确定该物体每次出现时的初始显示时间戳和持续显示时间；

对于全景视频出现的物体，选择在全景视频中最先出现且持续显示时间最长的物体，设置该物体为该段持续显示时长内的每帧全景图像中的默认观察物体；

在前一默认观察物体消失时确定与前一默认观察物体距离在预设距离范围内且在前一默认观察物体消失后持续显示时间最长的物体，设置该物体为从前一默认观察物体消失到该物体消失之间的一段时间内的每帧全景图像中的默认观察物体；以此类推，直至确定全景视频中所有全景图像的观察视角。