[发明专利]一种生产体系操作规范监测提醒系统

权利要求书

1.一种生产体系操作规范监测提醒系统，其特征在于，包括视频输入模块、识别模块、业务逻辑处理模块、数据存储模块和前端显示提醒模块：

所述视频输入模块，与识别模块连接，输入监测视频图像；

所述识别模块，与业务逻辑处理模块连接，基于检测识别模型识别图像中的人员及其手部动作，基于多帧图像的时序关联模型获得人员及其手部的连续跟踪数据；

所述业务逻辑处理模块，与数据存储模块、前端显示提醒模块连接，根据人员及其手部的连续跟踪数据，进行人员行为的业务场景逻辑计算，统计判断人员是否符合生产体系操作规范，并将统计判断结果发送到数据存储模块与前端显示提醒模块；

所述数据存储模块，与前端显示提醒模块连接，将统计判断结果与监测视频图像进行关联存储；

所述前端显示提醒模块，对人员行为的统计判断结果进行显示，对人员违规行为进行报警提醒。

2.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述视频输入模块，还包括视频流数据预处理模块，所述视频流数据预处理模块设置数据队列及其最大有效存储长度，将视频按图像帧进行切分，按照数据获取的先后循序置入队列进行保存。

3.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述识别模块的检测识别模型，利用数据集进行人员识别和人员手部动作识别的预训练。

4.根据权利要求3所述的生产体系操作规范监测提醒系统，其特征在于，所述识别模块的检测识别模型包括预训练模型和单点多框预测算法模型：

所述预训练模型，利用第一数据集进行人员识别训练；

所述单点多框预测算法模型与预训练模型融合，利用第二数据集进行人员手部动作识别训练；

其中，预训练模型为视觉几何组算法底层模型，第一数据集为图片网络数据集，第二数据集为微软可可数据集和可视化对象类数据集。

5.根据权利要求4所述的生产体系操作规范监测提醒系统，其特征在于，所述单点多框预测算法模型的训练方式为，将真实目标框与先验框按照如下方式进行配对：

寻找与每一个真实目标框有最大重合率的先验框；

将剩余还没有配对的先验框与任意一个真实目标框配对，如果两者之间的重合率大于阈值，则认为匹配成功；

配对到的先验框就是正样本，没有配对的先验框就是负样本；

依据每个框的重合率得分排序先验框，挑选其中得分高的先验框进行训练，控制正样本与负样本的比例；

对输入图像进行数据增广，随机采样一个图像区域，保证与真实目标框之间最小的重合率，随机对图像进行反转和色彩变换。

6.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述多帧图像的时序关联模型，使用连续帧上的人员及其手部外接矩形框，使用线性最小匹配原则按照时间顺序依次将时间上相关关联的矩形框进行连接，最终获取人员及其手部在时间上的连续移动轨迹。

7.根据权利要求6所述的生产体系操作规范监测提醒系统，其特征在于，所述线性最小匹配原则，在有限的两两组合关联关系中，每种关联关系对应一个唯一的损失值，找到一种最优的相互连接方式使得全局的损失最小，其中两两组合关联关系为相邻时间段的人员检测结果的外接矩形框之间的关联关系，损失值为两个矩形框之间的重合率。

8.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述识别模块，采用框架系统实现检测识别模型的前向计算。

9.根据权利要求1所述的生产体系操作规范监测提醒系统，其特征在于，所述识别模块，采用pb模式将检测识别模型导出。