[发明专利]一种基于双向时序图的视频描述生成方法和装置

权利要求书

1.一种基于双向时序图的视频描述生成方法，包括以下步骤：

(1)对视频提取视频帧并进行对象检测，每个视频帧检测得到若干个对象；

(2)对检测得到的对象构建双向时序图，计算对象的时序轨迹；

(3)对视频帧和对象区域提取局部特征，并构建特征聚合模型，利用局部特征和对象的时序轨迹学习聚合特征；

(4)利用注意力机制分别对多个视频帧和多个对象的聚合特征进行融合，并构建解码模型生成自然语言描述。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)对每个视频提取T个视频帧，对每个视频帧进行对象检测，取检测得分最高的N个对象作为对象检测结果。

3.如权利要求1所述的方法，其特征在于，所述步骤(2)中双向时序图建立在不同视频帧之间，图的节点表示视频对象，图的边表示不同视频帧对象之间的相似度。

4.如权利要求3所述的方法，其特征在于，根据对象的外观和空间区域信息计算所述相似度：

其中s(i,j)表示第i个对象和第j个对象之间的相似度，s_app、s_iou、s_area分别表示两个对象的外观相似度、空间区域交并比和面积比，计算公式如下：

其中i、j、p、q表示对象的编号，x表示对象特征，L₂表示两个对象特征的欧氏距离，area表示对象的空间区域，A表示对象空间区域的面积。

5.如权利要求1所述的方法，其特征在于，所述步骤(2)中双向时序图包含两个子图，即沿时序方向建立的正向图和沿逆时序方向建立的反向图；正向图以起始帧为参考帧，计算该帧对象和其他视频帧对象的相似度；反向图以结束帧为参考帧，计算该帧对象和其他视频帧对象的相似度；根据双向时序图，利用最近邻方法计算所有视频帧中与参考帧对象属于同一对象实例的对象，将其按照时序顺序连接起来得到对象的时序轨迹；所述最近邻方法选取相似度最大的边的两个节点作为同一对象实例。

6.如权利要求1所述的方法，其特征在于，所述步骤(3)对视频帧和对象提取卷积神经网络的卷积层特征图，以此作为局部特征；并利用循环神经网络构建特征聚合模型，分别对视频帧和对象的局部特征进行聚合，学习得到视频帧和对象的聚合特征；聚合特征的计算公式如下：

其中x∈R^H×W×D表示局部特征，H、W、D分别表示特征图的高、宽、通道数，c_k表示第k个聚类中心，a(h,w,k)表示局部特征x(h,w)到聚类中心c_k的软分配系数。

7.如权利要求1所述的方法，其特征在于，所述步骤(4)中构建层次化注意力机制，包含时序注意力和对象注意力，首先利用时序注意力为每个视频帧计算注意力权重，对同一对象实例在多个视频帧中的聚合特征进行加权融合，然后利用对象注意力机制为每个对象实例计算注意力权重，对多个对象实例的聚合特征进行融合。

8.如权利要求7所述的方法，其特征在于，所述时序注意力权重的计算公式如下：

其中W_att、U_att表示权重参数，b_att表示偏置参数，h_l-1表示解码模型在第l-1时间步的隐状态，vl_t表示第t个视频帧对应的聚合特征。β_lt表示学习到的时序注意力权重。

9.如权利要求7所述的方法，其特征在于，所述对象注意力权重的计算公式如下：

其中表示权重参数，表示偏置参数，h_l-1表示解码模型在第l-1时间步的隐状态，表示第i个对象实例的聚合特征，表示学习到的对象注意力权重。

10.一种基于双向时序图的视频描述生成装置，其特征在于，包括：

视频帧提取模块，负责对视频提取视频帧；

对象检测模块，负责对提取的视频帧进行对象检测，每个视频帧检测得到若干个对象；

双向时序图构建模块，连接所述对象检测模块，负责对检测得到的对象构建双向时序图，计算对象的时序轨迹；

特征聚合模块，连接所述视频帧提取模块、所述对象检测模块和所述双向时序图构建模块，负责对视频帧和对象区域提取局部特征，并构建特征聚合模型，利用局部特征和对象的时序轨迹学习聚合特征；

特征融合模块，连接所述特征聚合模块，负责利用注意力机制分别对多个视频帧和多个对象的聚合特征进行融合；

解码模块，连接所述特征融合模块，负责构建解码模型，根据融合后的特征生成自然语言描述。