[发明专利]产线作业管理与视频处理方法、装置、设备及存储介质

权利要求书

1.一种基于视频分割的产线作业管理方法，其特征在于，包括：

获取生产线上包含生产动作的视频帧序列，所述视频帧序列包括多个视频帧；

将所述多个视频帧分别输入至姿态估计网络和特征编码网络进行瞬时姿态估计和长时动作识别，得到所述多个视频帧的瞬时姿态特征和长时动作特征；

将所述多个视频帧的长时动作特征输入至边界生成网络，以识别所述多个视频帧中的动作边界信息；

将所述多个视频帧的瞬时姿态特征和长时动作特征输入至级联网络进行视频帧级别的动作分类，得到所述多个视频帧的初始动作分类结果；

根据所述动作边界信息，采用自注意力机制对所述多个视频帧的初始动作分类结果进行修正，得到所述多个视频帧的目标动作分类结果；

基于所述多个视频帧的目标动作分类结果对所述视频帧序列中属于同一动作类别的连续视频帧进行合并，得到所述视频帧序列中包含的各类生产动作及其持续时长；

基于所述视频帧序列中包含的各类生产动作及其持续时长，生成产线作业引导信息，将所述产线作业引导信息输出至生产线上的显示终端，以指导产线人员的后续作业。

2.根据权利要求1所述的方法，其特征在于，将所述多个视频帧的长时动作特征输入至边界生成网络，以识别所述多个视频帧中的动作边界信息，包括：

将所述多个视频帧的长时动作特征输入边界生成网络进行动作边界信息的置信度预测，得到所述多个视频帧的动作边界分类置信度，作为所述动作边界信息；

相应地，根据所述动作边界信息，采用自注意力机制对所述多个视频帧的初始动作分类结果进行修正，得到所述多个视频帧的目标动作分类结果，包括：

将所述动作边界信息和所述多个视频帧的初始动作分类结果输入池化层，在所述池化层中采用自注意力机制对相邻视频帧进行平滑池化操作，以得到所述多个视频帧的目标动作分类结果。

3.根据权利要求2所述的方法，其特征在于，在所述池化层中采用自注意力机制对相邻视频帧进行平滑池化操作，以得到所述多个视频帧的目标动作分类结果，包括：

根据所述多个视频帧的动作边界分类置信度与所述多个视频帧的初始动作分类结果生成自注意力权重，基于所述自注意力权重对所述多个视频帧的初始动作分类结果进行修正，得到所述多个视频帧的目标动作分类结果。

4.根据权利要求2所述的方法，其特征在于，将所述多个视频帧的姿态特征和长时动作特征输入至级联网络进行视频帧级别的动作分类，得到所述多个视频帧的初始动作分类结果，包括：

对于每个视频帧，将所述视频帧的姿态特征和长时动作特征拼接形成融合特征，将所述融合特征输入由n个子网络级联形成的级联网络对所述视频帧进行动作分类，得到所述视频帧的初始动作分类置信度；

其中，前n-1个子网络按照特征维度由大到小的顺序依次预测所述视频帧在不同特征维度上的动作分类置信度，第n个子网络用于融合前面n-1个子网预测出的所述视频帧在不同特征维度上的动作分类置信度，得到所述视频帧的初始动作分类置信度，n是≥2的正整数。

5.根据权利要求4所述的方法，其特征在于，将所述融合特征输入由n个子网络级联形成的级联网络对所述视频帧进行动作分类，得到所述视频帧的初始动作分类置信度，包括：

在前n-1个子网络中的每个子网络内部，根据其上一子网络预测出的所述视频帧在上一特征维度上的动作分类置信度，调整针对所述视频帧使用的内部权重；根据调整后的内部权重，预测所述视频帧在当前特征维度上的动作分类置信度。

6.根据权利要求5所述的方法，其特征在于，根据其上一子网络预测出的所述视频帧在上一特征维度上的动作分类置信度，调整针对所述视频帧使用的内部权重，包括：

根据其上一子网络预测出的所述视频帧在上一特征维度上的动作分类置信度，识别出第一动作类别和/或第二动作类别；所述第一动作类别是指所述视频帧在上一特征维度上的动作分类置信度低于第一阈值的动作类别，所述第二动作类别是指所述视频帧在上一特征维度上的动作分类置信度高于第二阈值的动作类别；

针对所述第一动作类别，增大针对所述视频帧在第一动作类别上使用的内部权重，和/或，针对所述第二动作类别，减小针对所述视频帧在第二动作类别上使用的内部权重。