[发明专利]一种基于强化学习注意力机制的行为识别方法

权利要求书

1.一种基于强化学习注意力机制的行为识别方法，其特征在于，该基于强化学习注意力机制的行为识别方法包括以下步骤：

S1：将构建的TSN卷积神经网络模型进行预训练，并通过所述TSN卷积神经网络模型从预先配置好的数据集中提取特征通道集，具体包括以下步骤：

S11：通过预设方法构建所述TSN卷积神经网络模型，并进行预训练，具体包括以下步骤：

S111：给定一段视频V，将其相等间隔分为K段{S₁，S₂，S₃...，S_K}，并对所述K段片段进行建模得到：TSN(T₁,T₂,…,T_K)＝H(G(F(T₁；W),F(T₂；W),…,F(T_K；W)))；其中(T₁,T₂,…,T_K)代表的从视频中选取的片段序列，具体而言T_K就是从视频段S_K中随机采样得到的短片段，其中函数F(T_K；W)对应的就是短片段T_K采用参数W的卷积网络部分，而函数的返回值就是断片段T_K对于所有类的得分，G是被作为段共识函数，共识函数是结合了其中多个短片段的类别的得分输出，最后得出短片段之间关于识别类别的共识，H为预测函数，它基于共识函数G得到的结果，然后预测整个视频所属每个行为类别的概率；

S112：结合标准分类交叉熵损失，获取损失函数：其中，i表示对应类的类别，C是数据中预测行为的总类别数，y_i是每个行为类别i的标签值，共识函数G表示为G_i＝g(F_i(T₁),F_i(T₂)，...,F_i(T_K))，g就是对所有片段中相同类别的得分推断为G_i的聚合函数，G_j表示第j类共识函数获得的值；

S113：在预训练过程中，使用反向传播算法，并利用多个片段联合优化模型参数W，获取模型参数W关于损失值L的梯度为：其中，表示偏微分；

S12：采用预设方法通过所述TSN卷积神经网络模型从预先配置好的数据集中提取特征通道集，具体包括以下步骤：

S121：将所述数据集中的一个视频分为多个帧，并从中分段随机选取8帧；

S122：将随机选取的8帧图片中的每帧图片大小裁剪为224*224，并分为R,G,B三个通道模式，使得输入所述TSN卷积神经网络模型的输入数据大小为8*3*224*224；

S123：将大小为8*3*224*224的输入数据输入所述TSN卷积神经网络模型中，得到大小为8*2048*7*7的输出结果；

S2：将构建的深度强化学习网络模型进行预训练，并通过所述深度强化学习网络模型对所述特征通道集进行关键通道集的选择；

S3：将构建的判别器神经网络模型进行预训练，并通过所述判别器神经网络模型对所述关键通道集进行动作分类。

2.根据权利要求1所述的一种基于强化学习注意力机制的行为识别方法，其特征在于，所述步骤S2中将构建的深度强化学习网络模型进行预训练，并通过所述深度强化学习网络模型对所述特征通道集进行关键通道集的选择具体包括以下步骤：

S21：通过预设方法构建所述深度强化学习网络模型，并进行预训练；

S22：采用深度强化学习算法通过所述深度强化学习网络模型从所述特征通道集中提取与动作有关的关键通道集。