[发明专利]一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法

权利要求书

1.一种适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于，包括以下步骤：

1、人体行为数据获取单元；

2、机器响应行为数据获取单元；

3、行为分析单元；

4、反馈控制与接口单元；

5、报警执行单元；

所述步骤1人体行为数据获取单元获得用于描述岗位人员操作行为的量化数据；所述步骤2机器响应行为数据获取单元获得用于描述岗位设备执行操作指令情况的量化数据；所述步骤3行为分析单元实现对岗位人-机协作过程的规范性评估与实时风险识别并给出报警决策；所述步骤4反馈控制与接口单元根据报警决策与报警执行单元以及外部系统或设备进行信息交互；所述步骤5报警执行单元实现以可感知形式给予岗位人员反馈，以辅助其对自身工作状态进行调整；

所述步骤1人体行为数据获取具体包括以下步骤：

11、视觉行为数据采集；

12、面部表情数据采集；

13、头部姿态数据采集；

14、肢体压力数据采集；

15、多模态人体行为信息融合；

其中，所述步骤11视觉行为数据采集获取岗位人员的视线落点位置序列；

所述步骤12面部表情数据采集获取岗位人员的动态表情强度指标序列；

所述步骤13头部姿态数据采集获取岗位人员的面部朝向方向序列；

所述步骤14肢体压力数据采集获取岗位人员的腕、肘、背、臀部压力分布数据序列；

上述步骤11至15为并行实时数据采集过程，上述步骤11至14采集的数据同时传入步骤15多模态人体行为信息融合；由步骤15多模态人体行为信息融合将多种不同模态的人体行为描述数据进行时序配准与数据对齐，然后将整合数据传送至所述步骤3行为分析；

所述步骤3行为分析包括以下步骤：

31、人-机协作行为分析；

32、行为规范知识库；

33、工作行为规范性评估；

34、实时风险识别；

35、提醒与报警决策；

其中，所述步骤31人-机协作行为分析同时接收上述步骤15多模态人体行为信息融合与步骤23机器响应行为配准传入的多模态数据流并进行数据融合，将融合后的数据分别传送至所述步骤32行为规范知识库、步骤33工作行为规范性评估与步骤34实时风险识别；在步骤32行为规范知识库，先对传入的多模态数据进行特征提取与分析，根据分析结果选取适当的行为规范先验知识分别传送至步骤33工作行为规范性评估与步骤34实时风险识别，同时将提取的特征作为新知识更新到知识库中，用于行为规范先验知识选取规则的自学习；在步骤33工作行为规范性评估，根据步骤32行为规范知识库提供的先验知识对行为的合规性进行量化评分；在步骤34实时风险识别，根据步骤32行为规范知识库提供的先验知识对表征危险行为的数据特征进行识别；步骤33工作行为规范性评估与步骤34实时风险识别的分析结果同时传入步骤35提醒与报警决策；由步骤35提醒与报警决策对需提示或警示的状态做出决策，并将决策信息传送至步骤4反馈控制与接口。

2.如权利要求1所述的适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于：

所述步骤2机器响应行为数据获取包括以下步骤：

21、应关注区域检测；

22、操作响应检测；

23、机器响应行为配准；

其中，步骤21应关注区域检测获取视觉终端实时显示内容中应关注的区域位置信息；步骤22操作响应检测获取机器对人员操作动作的响应数据，上述步骤21、步骤22采集的数据各自传入步骤23机器响应行为配准；由步骤23机器响应行为配准将上述步骤21、步骤22的机器响应行为描述数据进行维度融合，然后传送至所述步骤3行为分析。

3.如权利要求1所述的适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于：

所述步骤4反馈控制与接口包括以下步骤：

41、报警控制；

42、接口；

其中，所述步骤41报警控制接收上述步骤35提醒与报警决策传入的决策信息，将信息编译成控制指令通过步骤42接口传送至步骤5报警执行，同时接收步骤5报警执行反馈的指令执行状态信息；步骤42接口提供多种工业标准接口协议满足不同信息交互需求。

4.如权利要求1所述的适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于：

所述步骤5报警执行单元，接收上述步骤4反馈控制与接口传入的控制指令，按指令完成以使人可感知的方式向人员反馈报警信息的任务，并将指令完成状态信息回传至步骤4反馈控制与接口。