[发明专利]一种基于特征解耦的时序动作定位方法及系统

权利要求书

1.一种基于特征解耦的时序动作定位方法，其特征在于，包括以下步骤：

获取待时序动作定位的视频并剪切为若干个视频片段，提取获得每个视频片段的粗糙特征；

将每个视频片段的粗糙特征分别输入预训练好的解耦定位模型，所述解耦定位模型输出动作分类结果和动作定位结果；

其中，所述解耦定位模型包括：

自编码器，用于输入视频片段的粗糙特征，解耦并输出对应视频片段的细腻分类特征和细腻定位特征；

分类网络，用于输入所述细腻分类特征，输出动作分类结果；

定位网络，用于输入所述细腻定位特征，输出动作定位结果。

2.根据权利要求1所述的一种基于特征解耦的时序动作定位方法，其特征在于，所述自编码器包括：

编码器，用于输入视频片段的粗糙特征，输出三部分隐变量；其中，所述三部分隐变量包括只适合分类的隐变量、只适合定位的隐变量以及定位分类均适合的隐变量；

解码器，用于输入所述三部分隐变量，输出还原的粗糙特征。

3.根据权利要求2所述的一种基于特征解耦的时序动作定位方法，其特征在于，所述预训练好的解耦定位模型的获取步骤包括：

(1)获取样本训练集；其中，每个样本均包括样本视频片段的粗糙特征、动作定位标签、动作分类标签；

(2)将每个样本视频片段的粗糙特征输入自编码器，通过自编码器中的编码器输出三部分隐变量；将所述三部分隐变量输入自编码器的解码器，获得还原的粗糙特征；

(3)将所述三部分隐变量进行处理后输入自编码器中的解码器，获得细腻分类特征；将所述细腻分类特征输入分类网络，获得预测分类结果；其中，处理的规则为，将所述三部分隐变量中任意一部分隐变量替换为0向量；

(4)将所述三部分隐变量进行处理后输入自编码器中的解码器，获得细腻定位特征；将所述细腻定位特征输入定位网络，获得预测定位结果；其中，处理的规则为，将步骤(3)替换0向量后剩余的两部分隐变量中任意一部分隐变量替换为0向量；

(5)计算所述解耦定位模型的损失值，基于所述损失值更新模型参数，获得所述预训练好的解耦定位模型。

4.根据权利要求3所述的一种基于特征解耦的时序动作定位方法，其特征在于，所述解耦定位模型的损失值L的计算表达式为，

L＝l_a+l_c+l_l；

式中，l_a是自编码器的重构损失，l_c是分类损失，l_l是定位损失。

5.根据权利要求4所述的一种基于特征解耦的时序动作定位方法，其特征在于，所述自编码器的重构损失为余弦相似度或欧式距离损失；

所述分类损失为交叉熵损失；

所述定位损失为绝对值距离损失损失。

6.一种基于特征解耦的时序动作定位系统，其特征在于，包括：

粗糙特征获取模块，用于获取待时序动作定位的视频并剪切为若干个视频片段，提取获得每个视频片段的粗糙特征；

结果获取模块，用于将每个视频片段的粗糙特征分别输入预训练好的解耦定位模型，所述解耦定位模型输出动作分类结果和动作定位结果；

其中，所述解耦定位模型包括：

自编码器，用于输入视频片段的粗糙特征，解耦并输出对应视频片段的细腻分类特征和细腻定位特征；

分类网络，用于输入所述细腻分类特征，输出动作分类结果；

定位网络，用于输入所述细腻定位特征，输出动作定位结果。

7.根据权利要求6所述的一种基于特征解耦的时序动作定位系统，其特征在于，所述自编码器包括：

编码器，用于输入视频片段的粗糙特征，输出三部分隐变量；其中，所述三部分隐变量包括只适合分类的隐变量、只适合定位的隐变量以及定位分类均适合的隐变量；

解码器，用于输入所述三部分隐变量，输出还原的粗糙特征。