[发明专利]用于视频时空表征学习的三元关系协作模块及建模方法

权利要求书

1.用于视频时空表征学习的三元关系协作模块，其特征在于，包括层级设置的聚合层、关系层和协作层；

所述聚合层用于以特征图集合X为输入，输出通道描述子V^θ、时序描述子V^τ和空间描述子至所述关系层，θ、τ、分别表示通道、时序和空间；

所述关系层用于将所述通道描述子V^θ、时序描述子V^τ和空间描述子转变为对应的通道关系Z^θ、时序关系Z^τ和空间关系得到三元关系

所述协作层用于生成所述三元关系之间的三元协作关系Z^ζ。

2.如权利要求1所述的一种用于视频时空表征学习的三元关系协作模块，其特征在于：所述聚合层对所述特征图集合X分别进行通道聚合、时序聚合、空间聚合，得到所述通道描述子V^θ、时序描述子V^τ和空间描述子

所述特征图集合X的表示式为：

X＝[x₁,x₂,…,x_C]∈R^C×T×H×W (1)

其中，x_c∈R^C×T×H×W(c＝1,2,…,C)表示第c个通道的特征图，C、T、H和W分别表示特征图的通道数、时序深度、高度和宽度；

所述通道聚合具体为：将所述特征图集合X在时空范围内采用池化核T×H×W进行全局平均池化操作；

所述时序聚合具体为：将所述特征图集合X在时空范围内采用池化核1×H×W进行全局平均池化操作；

所述空间聚合具体为：将所述特征图集合X在时空范围内采用池化核T×1×1进行全局平均池化操作。

3.如权利要求2所述的一种用于视频时空表征学习的三元关系协作模块，其特征在于，所述通道描述子V^θ的表达式为：

所述通道描述子V^θ∈R^C包含C个描述子，所述聚合层对第c个通道的描述子进行通道聚合的表达式为：

其中，(t,h,w)表示在特征图中的时空位置。

4.如权利要求3所述的一种用于视频时空表征学习的三元关系协作模块，其特征在于，所述时序描述子V^τ的表达式为：

所述时序描述子V^τ∈R^C×T在每个通道中包含T个时序描述符，所述聚合层对第c个时序描述符的描述子进行时序聚合的表达式为：

5.如权利要求4所述的一种用于视频时空表征学习的三元关系协作模块，其特征在于，所述空间描述子的表达式为：

所述空间描述子在每个通道里得到一个H×W空间描述符，所述聚合层对第c个空间描述符的描述子进行空间聚合的表达式为：

6.如权利要求5所述的一种用于视频时空表征学习的三元关系协作模块，其特征在于，所述关系层对所述通道描述子V^θ进行转变的步骤包括：

1)将所述通道描述子V^θ输入包含一个隐含层的多层感知机，以获得非线性、未激活的通道关系；

2)将所述未激活的通道关系传递至Sigmoid函数进行激活，得到最终的通道关系Z^θ：

其中，σ和δ分别表示Sigmoid和ReLU函数，和表示所述多层感知机设置的通道权重，r表示所述多层感知机的隐层单元的下降比率。