[发明专利]产线作业管理与视频处理方法、装置、设备及存储介质

说明书

本申请实施例提供一种产线作业管理与视频处理方法、装置、设备及存储介质。在本申请实施例中，针对生产线上包含生产动作的视频帧序列，从瞬时姿态估计和长时动作识别两个维度识别视频帧序列中视频帧的瞬时姿态特征和长时动作特征，基于视频帧的长时动作特征进行动作边界信息的识别，进而同时基于动作边界信息、瞬时姿态特征和长时动作特征针对视频帧序列进行动作分割，不仅可自动准确地识别出视频帧序列中出现的各类生产动作及其持续时长，而且结合动作边界信息的动作分割还能降低动作转换过程中容易出现动作误识别的概率，能够更好地修正动作分割中的过分割现象。

技术领域

本申请涉及智能制造技术领域，尤其涉及一种产线作业管理与视频处理方法、装置、设备及存储介质。

背景技术

随着云计算、物联网、人工智能等技术的不断发展，涌现出越来越多的数字化工厂。数字化工厂能够实现产品从原料采购、产品设计以及生产加工等全生产链条的数字化处理；还能够按照柔性制造模式进行生产制造。其中，柔性制造模式是指通过系统结构、人员组织、运作方式和市场营销等方面的改革，使生产系统能对市场需求变化作出快速地适应，同时消除冗余无用的损耗，力求企业获得更大的效益。在柔性制造模式下，数字化工厂以消费者需求为核心，重构传统以产定销的生产模式，实现按需智造。

目前，在数字化生产过程中，有一些生产环节需要操作人员参与。例如，在服装智造领域中的车缝产线上，至少需要车缝工人手动执行以下几个车缝动作：取裁片并配对、抚平和/或移正压脚位、与其它各种配对裁片或附件合车、止口/线头修剪和放裁片等。由于车缝工人对生产工序动作的熟练程度不同，最终工序完成耗时与GTS标准工序时间也会有所不同，其中部分工序完成超时是因为存在不属于标准工序动作的浮余动作。为了帮助车缝工人改进生产动作，有必要识别出浮余动作，但在实际产线中，教练员和小组长也难以系统化掌握每个车缝工人的生产动作，因此需要一种能够自动识别出车缝工人的生产动作的解决方案，以便于及时纠正错误生产动作，减少工序耗时，帮助提高车缝效率。

发明内容

本申请的多个方面提供一种产线作业管理与视频处理方法、装置、设备及存储介质，用以自动准确地识别出视频帧序列中出现的各类生产动作及其持续时长。

本申请实施例提供一种基于视频分割的产线作业管理方法，包括：获取生产线上包含生产动作的视频帧序列，所述视频帧序列包括多个视频帧；对所述多个视频帧分别进行瞬时姿态估计和长时动作识别，得到所述多个视频帧的瞬时姿态特征和长时动作特征；根据所述多个视频帧的长时动作特征识别所述多个视频帧中的动作边界信息；根据所述多个视频帧中的动作边界信息、瞬时姿态特征和长时动作特征对所述视频帧序列进行动作分割，得到所述视频帧序列中包含的各类生产动作及其持续时长；基于所述视频帧序列中包含的各类生产动作及其持续时长，生成产线作业引导信息，将所述产线作业引导信息输出至生产线上的显示终端，以指导产线人员的后续作业。

本申请实施例提供一种用于生产线的视频处理方法，包括：获取生产线上包含生产动作的视频帧序列，视频帧序列包括多个视频帧；对多个视频帧分别进行瞬时姿态估计和长时动作识别，得到多个视频帧的瞬时姿态特征和长时动作特征；根据多个视频帧的长时动作特征识别多个视频帧中的动作边界信息，并根据多个视频帧的瞬时姿态特征和长时动作特征进行视频帧级别的动作分类，得到多个视频帧的初始动作分类结果；根据动作边界信息，采用自注意力机制对多个视频帧的初始动作分类结果进行修正，得到多个视频帧的目标动作分类结果；基于多个视频帧的目标动作分类结果对视频帧序列中属于同一动作类别的连续视频帧进行合并，得到视频帧序列中包含的各类生产动作及其持续时长。