[发明专利]业务流程抽取领域过程性视频的过程模型抽取方法

说明书

本发明属于计算机视觉技术领域，公开了业务流程抽取领域过程性视频的过程性模型抽取方法，可以改变传统业务流程抽取模型主要依赖于日志等结构化数据，难以应用于视频等非结构化数据的现状。此发明方法从互联网中筛选出视频数据；通过K近邻算法和图像处理技术从视频中提取出运动目标；以固定帧长从视频中自动切分出动作的视频帧序列，将视频帧序列送至双流膨胀卷积神经网络(Two‑Stream Inflated 3D ConNet)中进行动作识别，使用细粒度标签和标签映射机制优化动作识别的实验结果，然后将其转换成XES类型的日志文件，通过BPMN Miner方法挖掘出业务流程模型与标注(Business Process Model and Notation)。该发明为业务流程抽取领域在视频数据上的应用提供了一种通用、简捷的模型抽取方法。

技术领域

本发明属于业务流程抽取领域，尤其涉及一种视频流程抽取领域过程性视频的过程模型抽取方法。

背景技术

随着社会经济的发展，当今越来越多的企事业单位注重流程挖掘技术，该项技术可以从日志文件中提取有价值的信息，以便发现、监控和改进流程，实现业务流程的智能管理。但是传统业务流程抽取模型主要依赖于日志等结构化数据，容易受到日志文件残缺、不规范等问题的影响，而且难以应用于图片、视频等非结构化数据，导致在很多数据场景下无法进行流程抽取，造成大量的数据浪费和应用欠缺。

近些年来业务流程抽取研究不断深入，如何从视频等非结构化数据中进行过程挖掘，已经引起了人们的广泛关注。从日志到视频的转变，给流程挖掘带来了巨大的挑战，现有的工作大多仍处于手工挖掘的阶段，消耗大量的人力、物力成本。通过图像中物体位置、状态分析的自动挖掘方法仅从视频中某一帧图像考虑，无法结合视频中上下文信息，导致挖掘效果往往不好。

随着深度学习在图像领域的不断深入发展，短视频中的动作定位和识别技术不断完善，但是却少有研究将深度学习和视频流程挖掘相结合，主要原因包括过程性视频数据集稀缺且无标注、长视频动作定位效果差、已有过程挖掘算法集中于日志数据，缺少动作识别结果向日志文件转换的成熟方法。

发明内容

针对目前视频数据下的流程抽取工作空白的现状，本发明提出了一种视频流程抽取领域过程性视频的过程模型抽取方法。

本发明方法具体包括数据采集与增强、视频数据预处理、动作分割与识别、BPMN流程模型挖掘四部分。

本发明方法的第一部分是数据采集与增强，从已有的公开数据集中筛选包含流程信息的视频数据，并采用图像增强技术扩展数据集。

本发明方法的第二部分是数据预处理，将对原始视频数据进行预处理，消除图像中无关的信息，增强有关信息的可检测性和最大限度的简化数据。

本发明方法的第三部分是动作分割与识别，将对预处理的图像中提取动作进行动作分割和标识动作的类型，本发明方法设计了基于固定帧数的动作自动分割方法，不但实现了自动化，而且又具备一定的通用性，来解决动作分割与识别问题。

本发明方法的第四部分是BPMN模型挖掘，根据提取出的动作标签生成BPMN流程模型，可以清晰、准确表达视频内动作的关系。经过上述四部分，最终形成过程性视频的过程模型抽取方法。

鉴于上述，本发明的第一个方面提供了一种数据采集与增强的方法。第一步以“餐具摆放”作为主题从各大数据集网站公开的数据集中进行数据采集；第二步是视频数据清洗，使用OpenCV对视频分辨率、帧率、亮度等特征进行调整，使采集的视频数据调整至相同或高度相似的数据格式，丢弃调整失败的视频数据；第三步使用Python语言实现视频的简易动作标注工具，标注形式为[视频ID，动作类型，动作发生时间，动作结束时间]四元组；第四步通过图像旋转、平移、裁剪、缩放等图像增强技术，扩充数据集数量，并使不同类别动作的数据量分布平衡。

根据本发明的第二部分，所述视频预处理步骤具体如下。