[发明专利]一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法

摘要

本发明公开了一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法,系统包括：眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器、视觉终端、操作键盘、多通道信息采集与处理设备、反馈控制与接口装置以及报警器件；方法包括以下步骤：(1)人体行为数据获取；(2)机器响应行为数据获取；(3)行为分析；(4)反馈控制与接口；(5)报警执行；本发明的优点是实现了对视觉终端作业岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。

主权项

1.一种适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于，包括以下步骤：1、人体行为数据获取单元；2、机器响应行为数据获取单元；3、行为分析单元；4、反馈控制与接口单元；5、报警执行单元；所述步骤1人体行为数据获取单元获得用于描述岗位人员操作行为的量化数据；所述步骤2机器响应行为数据获取单元获得用于描述岗位设备执行操作指令情况的量化数据；所述步骤3行为分析单元实现对岗位人‑机协作过程的规范性评估与实时风险识别并给出报警决策；所述步骤4反馈控制与接口单元根据报警决策与报警执行单元以及外部系统或设备进行信息交互；所述步骤5报警执行单元实现以可感知形式给予岗位人员反馈，以辅助其对自身工作状态进行调整；所述步骤1人体行为数据获取具体包括以下步骤：11、视觉行为数据采集；12、面部表情数据采集；13、头部姿态数据采集；14、肢体压力数据采集；15、多模态人体行为信息融合；其中，所述步骤11视觉行为数据采集获取岗位人员的视线落点位置序列；所述步骤12面部表情数据采集获取岗位人员的动态表情强度指标序列；所述步骤13头部姿态数据采集获取岗位人员的面部朝向方向序列；所述步骤14肢体压力数据采集获取岗位人员的腕、肘、背、臀部压力分布数据序列；上述步骤11至15为并行实时数据采集过程，上述步骤11至14采集的数据同时传入步骤15多模态人体行为信息融合；由步骤15多模态人体行为信息融合将多种不同模态的人体行为描述数据进行时序配准与数据对齐，然后将整合数据传送至所述步骤3行为分析；所述步骤3行为分析包括以下步骤：31、人‑机协作行为分析；32、行为规范知识库；33、工作行为规范性评估；34、实时风险识别；35、提醒与报警决策；其中，所述步骤31人‑机协作行为分析同时接收上述步骤15多模态人体行为信息融合与步骤23机器响应行为配准传入的多模态数据流并进行数据融合，将融合后的数据分别传送至所述步骤32行为规范知识库、步骤33工作行为规范性评估与步骤34实时风险识别；在步骤32行为规范知识库，先对传入的多模态数据进行特征提取与分析，根据分析结果选取适当的行为规范先验知识分别传送至步骤33工作行为规范性评估与步骤34实时风险识别，同时将提取的特征作为新知识更新到知识库中，用于行为规范先验知识选取规则的自学习；在步骤33工作行为规范性评估，根据步骤32行为规范知识库提供的先验知识对行为的合规性进行量化评分；在步骤34实时风险识别，根据步骤32行为规范知识库提供的先验知识对表征危险行为的数据特征进行识别；步骤33工作行为规范性评估与步骤34实时风险识别的分析结果同时传入步骤35提醒与报警决策；由步骤35提醒与报警决策对需提示或警示的状态做出决策，并将决策信息传送至步骤4反馈控制与接口。