[发明专利]一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法

说明书

本发明公开了一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法,系统包括：眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器、视觉终端、操作键盘、多通道信息采集与处理设备、反馈控制与接口装置以及报警器件；方法包括以下步骤：(1)人体行为数据获取；(2)机器响应行为数据获取；(3)行为分析；(4)反馈控制与接口；(5)报警执行；本发明的优点是实现了对视觉终端作业岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。

技术领域

本发明涉及一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法,属于人类工效、人机工程、智能系统以及工业控制系统技术领域。

背景技术

目前，传统的视觉终端(VDT-Visual Display Terminal)作业技术是对利用计算机系统的视觉显示终端进行数据、文字、图像信息处理工作的总称，是一种以脑力劳动为主的技术形式。视觉终端作业技术则是专职以视觉显示终端为工作信息获取的核心媒介的技术。这种技术的特点是：人员通过视觉关注屏幕与手操输入设备(如键盘、鼠标)相结合的方式来实现与计算机(或机器)共同协作完成技术任务。

在工业自动化、智能化极速发展的今天，不少关系国家、社会生产重大公共安全的系统中，有相当比例的岗位为视觉终端作业技术，且有些视觉终端作业岗位为系统的关键任务岗位，作业任务完成质量直接关系到整个系统的可靠性。例如公共交通运输系统中的调度岗位、作战指挥系统中的可视情报信息监测岗位、能源实时输送系统中的系统运行状态监控岗位、还有高安全等级场所的安全检查射线图像识别岗位，这些都属于典型的视觉显示终端作业岗位范畴，且肩负着关键任务。正是基于对这类岗位关键性的高度重视，关于岗位的工作绩效、工作负荷、工作质量以及由此岗位给系统引入的安全风险等问题备受关注，尤其是在对岗位高危行为的实时辨识与系统风险防范方面的意义更加重大。

目前，在驾驶安全领域已有关于驾驶员驾驶行为风险识别的相关技术。例如专利号为CN101565036B的发明专利提供了一种防疲劳驾驶的方法，通过实时采集驾驶员的图像信息，分析是否为同一驾驶员，监控驾驶员的连续驾驶时间与眼部开闭状态、视线分散度及凝视位置来分析驾驶员的驾驶状态，针对疲劳状态采取报警及制动措施。

例如，申请号为201310248710.1的发明专利申请提供了一种车载实时智能疲劳监控及辅助装置，通过影像采集检测驾驶员疲劳状态，对驾驶员状态进行参数化并对疲劳状态进行分级，根据分级采取干涉指令的相关措施，同时也支持对用户的疲劳基线进行个性化设置与调整。

上述可见，根据驾驶行为特点，驾驶员的疲劳状态是驾驶安全的重点识别、防范状态。而针对视觉终端作业岗位的行为分析、风险识别与智能监控就不能仅局限在疲劳状态，因为这种岗位人员给系统引入的风险除疲劳外还有一大部分是因为技能水平不够导致的注意力分布不合理，不能及时发现状况并做出快速反应。故针对视觉终端作业岗位的行为分析应从人-机协作过程量化分析与评估的角度出发，形成多模态信息综合分析、人-机行为同步监测、兼顾风险提醒和绩效评估的智能控制系统。

综上所述，目前，针对视觉作业岗位的行为分析与监控系统技术及方法尚未发展，国内外均未有提出针对视觉作业岗位的行为分析与监控系统技术的系统与方法。

发明内容

本发明的目的在于提供一种能够克服上述技术问题的适于视觉终端作业岗位的多模态行为分析与监控系统及方法，本发明通过多种模态的人体行为与机器响应行为的数据获取，并结合人-机协作行为综合量化分析，实现对岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，例如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。