[发明专利]少数民族舞蹈视频描述中视觉互参考语义检测方法

权利要求书

1.少数民族舞蹈视频描述中视觉互参考语义检测方法，其特征在于，包括：

将视频分别经过3D卷积神经网络和2D卷积神经网络处理后得到3D视觉特征V_3D和2D视觉特征V_2D；

所述3D视觉特征V_3D在3D语义检测支路中进行特征提取、所述2D视觉特征V_2D在2D语义检测支路中进行特征提取，分别得到3D语义特征S_a1和2D语义特征S_b1；

将所述3D语义特征S_a1和2D视觉特征V_2D进行拼接融合获取新3D语义特征；将所述2D语义特征S_b1和3D视觉特征V_3D进行拼接融合获取新2D语义特征；

在3D语义检测支路中，对特征提取操作、拼接融合操作进行多阶段迭代，得到3D语义特征S_Am；在2D语义检测支路中，对特征提取操作、拼接融合操作进行多阶段迭代，得到2D语义特征S_Bm：

在3D语义检测支路中，对3D语义特征S_Am采用语义检测单元End-A进行最后一次语义提取，获取3D语义特征S_end-A；在2D语义检测支路中，对2D语义特征S_Bm采用语义检测单元End-B进行最后一次语义提取，得到2D语义特征S_end-B；

将所述3D语义特征S_end-A和2D语义特征S_end-B进行拼接融合，得到语义特征S。

2.根据权利要求1所述少数民族舞蹈视频描述中视觉互参考语义检测方法，其特征在于，所述3D视觉特征V_3D在3D语义检测支路中进行特征提取、所述2D视觉特征V_2D在2D语义检测支路中进行特征提取，具体为：

3D语义检测支路中利用语义检测单元A1提取语义特征，得到3D语义特征S_a1，具体操作如式(1)～(6)所示：

式(1)所示为语义检测单元A1的第1层全连接计算，其中U_1,i是权重U₁的每一列向量，3D视觉特征V_3D与U_1,i做向量乘法计算，⊕表示特征的拼接融合，得到中间特征M₁；

将所述中间特征M₁与偏置相加，得到：

其中，D₁是常数形式的偏置项，B_ro1(·)是广播操作，通过拓展该常量数字与向量相加，得到中间特征N₁；

将所述中间特征N₁进行非线性激活处理，当特征中的元素小于或等于1时，将其置为0，否则特征元素值不变；如式(3)所示：

其中，N_1,i是N₁的每一个特征元素，函数A_ReLU(·)是非线性激活函数，得到中间特征W₁；

然后进行随机删除神经元操作，如式(4)所示：

其中，函数的作用是随机删除神经元操作，使其中的部分神经元暂时失去作用，在当前阶段不进行反向传播，k₁是保留参数；得到第1层输出特征X₁；

对第一层输出特征X₁提取过程进行多次循环操作，得到语义检测单元A1的第1层、第2层、…、第n层输出特征：

对语义检测单元A1第n层特征进行Softmax多标签分类操作：

其中，X_n,i是特征X_n的每一个特征元素，函数exp(·)是指数函数表达，通过对该特征进行Softmax分类处理，得到多标签分类形式的语义特征向量S_a1；

采用上述的处理方式，2D语义检测支路中2D视觉特征V_2D经过语义检测单元B1处理得到2D语义特征S_b1。