[发明专利]一种结合EOG和视频的扫视信号识别方法及系统

权利要求书

1.一种结合EOG和视频的扫视信号识别方法，其特征在于，包括：

S1、同步采集受试者不同扫视动作类别的EOG数据和视频数据；

S2、对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据；

S3、对EOG数据进行端点检测，得到端点检测结果；

S4、将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；

S5、分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征；

步骤S5，具体包括：对所述预处理后的EOG数据进行小波包变换处理，提取EOG数据的特征；对所述预处理后的视频数据进行二维小波变换处理，提取视频数据的特征；

所述的对预处理后的视频数据进行二维小波变换处理，具体包括：将所述预处理后的视频数据中的眼动扫视图片采用二维小波变换进行分解，得到水平、垂直、对角线和低频四个频带，其中母函数为db2，分解层数为4层；将分解得到的四个子图像按照第一行低频、垂直，第二行水平、对角线的顺序组合成一个总图；将总图中每行首尾相连得到一个向量并放入矩阵中，将矩阵每行首尾相连得到表示扫视状态的视频特征参数；

S6、将两种模态下有效眼动数据的特征进行融合，得到融合后的扫视特征参数；

S7、将所述融合后的扫视特征参数送入SVM分类器中进行训练，得到分类模型；

S8、利用所述测试集中的数据对所述分类模型进行测试，得到测试后分类模型，以进行信号识别。

2.如权利要求1所述的方法，其特征在于，所述的步骤S2，具体包括：

对所述EOG数据进行带通滤波处理，得到预处理后的EOG数据；

对所述视频数据进行粒子滤波处理，计算瞳孔中心位置，获得瞳孔运动轨迹。

3.如权利要求1所述的方法，其特征在于，所述的步骤S3，具体包括：

对预处理后的EOG数据进行分帧加窗处理，并设置经验能量门限值E0；

计算当前滑动窗内的能量值E，判断能量值E是否大于能量门限值E0；

若是，则将该预处理后的EOG数据点标记为可能起始点，并从起始点向后搜索，判断后续点对应的能量值是否大于能量门限值E0；

若是，则EOG信号段样本点数加1；

若否，则空白段样本点数加1；

判断空白段样本点数是否小于空白段允许的最大样本点数；

若是，则确定当前滑动窗还在EOG信号段；

若否，则判断EOG信号段样本点数是否大于EOG信号段允许的最小样本点数；

若是，则确定EOG信号有效起止段；

若否，则重置EOG信号段和空白样本段的样本点数为0，重新确定EOG信号段起点；

将EOG数据的端点检测结果应用在视频数据中，确定视频数据的有效起止段。

4.如权利要求1所述的方法，其特征在于，所述的对预处理后的EOG数据进行小波包变换处理，具体包括：

利用母函数为sym函数、分解层数为3层的小波包对所述预处理后的EOG数据进行处理；

从分解得到的小波包系数中选取第一个低频系数作为EOG模态下的特征参数。

5.一种结合EOG和视频的扫视信号识别系统，其特征在于，包括：依次连接的采集模块（10）、预处理模块（20）、端点检测模块（30）、有效数据段检测模块（40）、特征提取模块（50）、特征融合模块（60）、训练模块（70）以及测试模块（80）；

采集模块（10）用于同步采集扫视动作的EOG数据与视频数据，并将采集的数据传输至预处理模块（20）；

预处理模块（20）用于对EOG数据和视频数据分别进行预处理，得到预处理后的EOG数据和视频数据，并将预处理后的数据传输至端点检测模块（30）；

对所述预处理后的EOG数据进行小波包变换处理，提取EOG数据的特征；对所述预处理后的视频数据进行二维小波变换处理，提取视频数据的特征；

所述的对预处理后的视频数据进行二维小波变换处理，具体包括：将所述预处理后的视频数据中的眼动扫视图片采用二维小波变换进行分解，得到水平、垂直、对角线和低频四个频带，其中母函数为db2，分解层数为4层；将分解得到的四个子图像按照第一行低频、垂直，第二行水平、对角线的顺序组合成一个总图；将总图中每行首尾相连得到一个向量并放入矩阵中，将矩阵每行首尾相连得到表示扫视状态的视频特征参数；

端点检测模块（30）用于对EOG数据进行端点检测，得到端点检测结果，并将检测结果传输至有效数据段检测模块（40）；

有效数据段检测模块（40）用于将端点检测结果应用于EOG与视频两种模态下的有效眼动数据段检测，并将两种模态下的有效眼动数据分为训练集和测试集；

特征提取模块（50）用于分别对训练集和测试集中两种模态下的数据进行特征提取，得到两种模态下有效眼动数据的特征，并将提取的特征传输至特征融合模块（60）；

特征融合模块（60）用于将两种模态下有效眼动数据的特征进行融合，得到融合后的扫视特征参数，并将融合后的扫视特征参数传输至训练模块（70）；

训练模块（70）用于将所述融合后的扫视特征参数送入SVM分类器中进行训练，得到分类模型，并将分类模型传输至测试模型（80）；

测试模型（80）用于利用所述测试集中的数据对所述分类模型进行测试，得到测试后分类模型以进行信号识别。