[发明专利]一种基于空地协同视角的焦点目标检测方法

权利要求书

1.一种基于空地协同视角的焦点目标检测方法，其特征在于：所述方法基于一个高空视角的无人机搭载的高空相机和由多个地面行人佩戴的穿戴相机的第一视角，利用空地协同的视角，通过检测、关联并融合场景中多人的视觉注意力场景中实现焦点目标的定位；包括如下步骤：

步骤S1：输入N+1个时间同步的视频，时长为

步骤S2：利用滑动窗口技术将S1步骤获取的视频全部一致地分割为时长为T的短片段；

步骤S3：利用人物检测算法和多视角数据融合方法来从当前片段的每一帧中获取候选焦点目标；

步骤S4：利用能量函数计算每一个候选焦点目标在每一个视角中的能量值，并将多视角能量值结合计算当前帧能量值

其中：E₁和E₂分别表示帧内能量项和帧间能量项，P_t，P_s表示第t和s帧的焦点目标候选人；

步骤S5：当未处理所有片段时，返回步骤S3识别下一个片段；当已处理所有片段时，进入步骤S6；

步骤S6：将时间中所有片段的焦点目标能量值检测结果综合起来分析，得到检测结果。

2.根据权利要求1所述的一种基于空地协同视角的焦点目标检测方法，其特征在于：所述步骤S3中获得当前片段的每一帧中获取候选焦点目标过程：

将第n个第一视角视图中的第k个剪辑表示为将高空视图中的第k个剪辑表示为对于每个窗口W_k，采用多视图视频剪辑，即和来检测顶视图中的焦点目标即以及第一视角视图中的对应对象当无混淆情况时，将符号简化为将符号简化为每个剪辑包括T帧，和分别是高空视角和第n个第一视角视图剪辑中的第t帧；

在每一帧中，将所有被检测对象作为一组焦点目标候选对象，将每一帧作为一个节点，将该帧中的焦点目标候选对象作为其状态；

采用多视角目标关联算法来统一不同视频中检测到的对象，即在不同视频中识别和匹配相同的人；将检测到的目标群体统一表示为作为焦点目标的候选集，其中P_t为焦点目标候选人；采用条件随机场模型用于焦点目标检测，其中每一帧被视为条件随机场模型中的一个节点，每一个候选节点被视为该节点的一个状态；通过条件随机场模型，在每一帧t中寻找一个候选焦点目标；

采用能量函数E(P_t,P_s|F_t,F_s)来估计P_t,P_s作为焦点目标，其反映一个候选焦点目标的可信度，能量函数具体表述为

其中E₁和E₂分别表示帧内和帧间能量,刻画了焦点目标在相同帧和不同帧之间的概率；

基于帧内置信度E₁，根据候选对象在其他对象视场中的位置来定义其视图偏差水平；通过计算候选对象的聚焦比级别，即视场覆盖候选对象的被试数与场景中被试总数的比值，来构造坐标系内的能量：

E₁(P_t)＝-Sig(V(P_t)+F(P_t))，

其中Sig表示sigmoid函数，V(·)和P(·)分别为反映候选P_t的视角偏差和聚焦比水平的两种能量；V(·)定义为

其中表示在帧t处检测到的对象总数为|P_t|，表示对象P的观察方向，表示从对象P到候选P_t的向量，P遍历除对象P_t外的中所有对象，括号·表示两个向量之间的角度；使用和之间的角度来估计点在视图中的偏差水平；

使用阻尼函数修改，并将F(·)定义为

其中Ind(·)为指标函数；该能量项是计算视场包含候选P_t的目标的比例，θ为目标的视场角；

由于帧间能量E₂取决于焦点目标置信度的变化和跨帧的时间一致性，因此将帧间能量构造为

E₂(P_t,P_s)＝-Sig(ΔV(P_t,P_s)+ΔF(P_t,P_s)+O(P_t,P_s)),

其中，ΔV(P_t,P_s)＝V(P_s)-V(P_t)代表视图偏差水平从P_t到P_s的变化，ΔF(P_t,P_s)＝ΔF(P_s)-F(P_t)代表聚焦比水平的变化；O(P_t,P_s)表示P_t与P_s之间的重叠，其能够保证从帧t到帧s的空间一致性。