[发明专利]模型构建及训练方法和装置、时序动作定位方法和装置

权利要求书

1.一种动作预知网络模型构建方法，其特征在于，包括：

构建第一预知子模型，其中，所述第一预知子模型用于采用第一视频数据进行动作识别训练和时序动作定位训练，其中，第一视频数据为包含时域标注的长视频数据；

构建第二预知子模型，其中，所述第二预知子模型用于采用第二视频数据进行动作识别训练和时序动作定位训练，第二视频数据为动作短片段视频数据，第一视频数据的数量小于第二视频数据的数量；

其中，所述动作预知网络模型包括第一预知子模型和第二预知子模型；训练完成的动作预知网络模型用于实现待测视频数据的时序动作定位，其中，待测视频数据为不包含时域标注的长视频数据。

2.根据权利要求1所述的动作预知网络模型构建方法，其特征在于，所述构建第一预知子模型包括：

构建片段抽取子模型，其中，片段抽取子模型，用于从第一视频数据中抽取动作片段作为前景短片段；

构建第一动作识别子模型，其中，第一动作识别子模型，用于采用前景短片段进行动作识别训练；

构建第二时序动作定位子模型，其中，第二时序动作定位子模型，用于采用第一视频数据进行时序动作定位训练；

构建第一权重转移子模型，其中，第一权重转移子模型，用于通过第一权重转移函数，来桥接前景短片段的动作识别以及第一视频数据的时序动作定位。

3.根据权利要求1所述的动作预知网络模型构建方法，其特征在于，所述构建第二预知子模型包括：

构建特征序列生成子模型，其中，背景生成子模型，用于抽取第二视频数据的片段级别特征，将第二视频数据的片段级别特征通过组合构成第二视频数据的特征序列；

构建背景生成器，其中，所述背景生成器利用第一视频数据中的动作前后背景作为指引，对第二视频数据的动作前后背景进行幻化生成，组合生成的背景特征和原始的第二视频数据特征构成一个完整的合成特征序列；

构建第二动作识别子模型，其中，第二动作识别子模型，用于采用第二视频数据的特征序列进行动作识别训练；

构建第二时序动作定位子模型，其中，第二时序动作定位子模型，用于采用完整的合成特征序列进行时序动作定位训练；

构建第二权重转移子模型，其中，第二权重转移子模型，用于桥接第二视频数据的动作识别以及第二视频数据前后内容扩展版本的时序动作定位。

4.根据权利要求3所述的动作预知网络模型构建方法，其特征在于，还包括：

构建对抗训练模型，用于在每个时域尺度上，使用判别器分辨第一视频数据中的背景对应的锚点特征以及第二视频数据生成的背景对应的锚点特征，使得背景生成器可以利用第一视频数据中的动作前后背景作为指引，对第二视频数据的动作前后背景进行幻化生成。

5.根据权利要求1-4中任一项所述的动作预知网络模型构建方法，其特征在于，还包括：

构建权值共享子模型，用于共享第一权重迁移函数和第二权重迁移函数的权值，其中，第一权重迁移函数为第一预知子模型中第一权重转移子模型的第一权重迁移函数，第二权重迁移函数为第二预知子模型中第二权重转移子模型的第一权重迁移函数。

6.根据权利要求1-4中任一项所述的动作预知网络模型构建方法，其特征在于，还包括：

构建联合优化子模型，其中，联合优化子模型，用于通过不断交替优化第一视频数据和第二视频数据合成的完整特征序列的时序动作定位损失函数、第一视频数据的前景片段和第二视频数据的动作识别损失函数、以及对抗训练优化损失函数，以实现动作预知网络模型在目标类别上整体定位损失函数的收敛，目标类别为属于第一视频数据的动作类别或第二视频数据的动作类别。

7.一种动作预知网络模型训练方法，其特征在于，包括：

采用第一视频数据和第二视频数据对动作预知网络模型进行训练，使得训练完成的动作预知网络模型用于实现待测视频数据的时序动作定位，其中，第一视频数据为包含时域标注的长视频数据，第二视频数据为动作短片段视频数据，待测视频数据为不包含时域标注的长视频数据，第一视频数据的数量小于第二视频数据的数量。