[发明专利]一种结合EOG和视频的扫视信号识别方法及系统

说明书

本发明公开一种结合EOG和视频的扫视信号识别方法及系统，属于眼电图技术领域，包括：同步采集扫视动作的EOG数据与视频数据；对EOG数据和视频数据进行预处理；对EOG数据采集通道进行端点检测，得到端点检测结果；将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，将有效眼动数据分为训练集和测试集；对训练集和测试集中两种模态下的数据进行特征提取得到有效眼动数据的特征；将两种模态下有效眼动数据的特征进行融合；将融合后扫视特征参数送入SVM分类器中进行训练，得到分类模型；利用测试集中数据对分类模型进行测试，得到测试后分类模型以进行信号识别。本发明中融合后的特征具有更多互补信息，提高了信号识别鲁棒性。

技术领域

本发明涉及眼电图技术领域，特别涉及一种结合EOG和视频的扫视信号识别方法及系统。

背景技术

人体行为识别(HumanActivity Recognition，HAR)的目的是通过自然语言来感知用户的意图，通过信号获取和模式识别等方法全面的反映行为类型和行为模式。随着人机交互技术的发展，人体行为识别系统已经在智能监控、视频检索、运动分析、虚拟现实以及病人监护系统等重点研究领域得到了广泛的应用。

目前，可穿戴式生物信息传感器和无接触式环境传感器已经被用于实现人体行为识别。其中，可穿戴式生物信息传感器指的是常见的环境传感器，包括簧片开关、温度传感器、加速传感器、陀螺仪和生物传感器等。但是簧片开关、温度传感器等受到接收基本行为状态的限制，比如通过进出房间的动作来控制设备的开关。加速传感器、陀螺仪主要关注身体活动的感受，不能用于显性视觉任务，因此忽略了一些为人体行为识别提供有价值信息的微妙提示。

在表征人体行为的生物电信号中，眼电信号EOG具有成本低、操作简单、无创伤和影响较小的优点。与EOG数据类似，视频传感器在采集眼动信息时，不需要接触用户皮肤且安装较为简单，因此，基于视频的眼动信息记录方法也成为人体行为识别的一种有效手段。在在线人体行为识别系统的设计和实现过程中，单元眼动检测单元和识别是关键步骤，为了实现这一目标，研究者们提出的一些方法包括：在基于眼电图的方法中，Bulling等人开发了连续小波变换扫视算法CWT-SD，该算法将水平和垂直的眼电图信号作为EOG数据分量，去除噪声后作为计算连续小波系数的输入参数，然后应用特定的阈值将水平和垂直的眼电图信号分成扫视或非扫视。Larsson等人提出了一种新颖的视频跟踪和眨眼检测方法，该方法使用的采集设备是普通网络摄像机，此外在不受控制的照明条件下可以显示出良好的性能。

但是上述检测和识别方法在实际应用中存在的缺陷在于：传统的方法是单独的对眼电EOG数据或者眼动视频数据进行处理，这种单模态的眼动记录方法不可避免的受到一些限制，例如在EOG采集的条件下，虽然正常活动没有受到影响，但活动范围有限，采集到的EOG数据所表示的行为特征也有限。而且，在EOG采集的条件下，用户轻微的动作将导致严重的干扰，并影响人体行为识别的性能。在视频数据采集下，采集过程受光线的干扰，特别是在黑暗条件下，性能会急剧下降。因此单一模态下的生物电信号较难实现鲁棒扫视检测。

发明内容

本发明的目的在于提供一种结合EOG和视频的扫视信号识别方法及系统，以提高人体行为识别准确率。

为实现以上目的，第一方面，本发明提供一种结合EOG和视频的扫视信号识别方法，包括：

S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；

S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；

S3、对EOG数据进行端点检测，得到端点检测结果；

S4、将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；

S5、分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征；