[发明专利]基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法

摘要

本发明公开了一种基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法，具体步骤为将一维EEG序列转换为二维EEG网格；创建包含空间信息和时间信息的3D数据架构；提取每个数据网格的空间特征；将提取的空间特征后的序列馈送到RNN中以提取时间特征；一个完全连接层接收RNN层的最后一个时间步的输出；馈送到softmax层进行处理；判定是否疲劳驾驶。本发明大大降低了采集数据时的困难度，提高模型对疲劳驾驶状态的识别性能；实验装备脑‑计算机接口(BCI)使用户能够直接与外界通信或仅使用大脑意图来控制仪器，进而进行数据采集与分析作出判断。

主权项

1.一种基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法，其特征在于：步骤1、EEG数据采集并学习有效时空动态成分头戴装置有多个电极接收大脑皮层的电压波动，获取EEG信号，并记录为在采集频率下的时间序列数据：步骤2、将一维EEG序列转换为二维EEG网状数据：步骤2.1、BCI头戴装置上每个电极的分布都与其他电极相邻，将两个直线上的相邻电极关联性的矢量数据构成一维EEG序列转换成表达多个电极相互之间关联性的二维EEG序列；步骤2.2、通过将EEG记录与EEG采集电极的空间信息进行映射，从一维链状EEG数据序列矢量构建二维的网状原始EEG信号结构，以对应相邻EEG信号和相应脑区域之间的关联性；每个所得到的二维数据网包含有在所记录时刻大脑脑电波信号的空间位置信息；步骤3、创建包含空间信息和时间信息的3D数据架构多级雪崩式卷积递归网络模型的输入为2D网状数据，加入时间信息形成一个包含空间信息和时间信息的3D数据架构；步骤4、提取每个数据网格的空间特征步骤4.1为了提取每个数据网的空间特征，定义第j个输入段s_j＝[h_k·h_k+1…h_k+δ‑1]∈R^δ×h×w，其中有δ个数据网表示为F_j＝[f_τ…f_τ+δ‑1]∈^δ×τ，每个数据网的大小为h×w；其中，S表示窗口大小，j＝1,2，...，q，在观察期间有q个输入段，h_n(n＝k,k+1,......,k+ρ‑1)表示的为数据网格，共有δ个数据网格，h代表数据网格的高，w代表数据网格的宽，h×w为每个数据网格的大小；F_j表示空间特征表示序列，f_n(n＝τ,τ+1,…,τ+δ‑1)表示提取空间特征，具有τ个元素的特征向量；步骤4.2数据网格分别输入到二维CNN，并且每个数据网解析为空间特征表示f_n(n＝τ,τ+1,…,τ+δ‑1):AvalCNN:f_n＝C_2D(h_n)·f_n∈^m最终得到空间特征表示f_n是具有n个元素的特征向量；我们用32个特征映射启动第一个卷积层，并在以下每个卷积层中加倍特征映射，在最后一个卷积层中有128个特征映射；其中，f_n(n＝τ,τ+1,…,τ+δ‑1)表示提取空间特征，h_n表示的为数据网格，f_n∈R^m表示具有m个神经元的完全连接层将128个特征映射转换为最终空间特征表示；步骤4.3通过二维CNN空间特征提取步骤，输入数据段被转换为空间特征表示序列：其中，F_i表示为空间特征表示序列，f_n(n＝τ,τ+1,…,τ+δ‑1)表示提取空间特征，δ表示为数据网格，具有τ个元素的特征向量；对于空间特征提取，存在三个具有相同内核大小3×3的二维卷积层，在每个卷积运算中，使用零填充技术来防止丢失输入网状数据边缘的信息；步骤5、将提取的空间特征后的序列馈送到RNN中以提取时间特征空间特征表示序列F_i被输入到RNN以计算时间特征，RNN提取时间特征使用长短期记忆单元来构建两个堆叠在一起的RNN层，每层中有S个LSTM单元，第二个RNN层的输入是前一个RNN层的输出：步骤5.1、在当前时间步骤k的第一RNN层的LSTM单元的隐藏状态表示为h_k，并且h_k‑1是前一个时间步骤k‑1的隐藏状态；前一时间步骤的信息将被传送到当前步骤，并影响最终输出，因此使用LSTM单元的隐藏状态作为LSTM单元的输出；步骤5.2、第一LSTM层的隐藏状态序列[h_k,h_k+1,…,h_k+s‑1]的输出到第二LSTM层；其中h_n(n＝k,k+1,......,k+ρ‑1)表示的为数据网格；步骤5.3、由于需要得到的是整个测试期间识别大脑脑电波来判断是否处于疲劳驾驶状态，因此要对LSTM观察到滑动窗口的整个样本时提取的特征做进一步分析；只有最后一个时间步长LSTM下一状态的h'_k+s‑1的输出被送入下一个完全连接层；步骤6、一个完全连接层接收RNN层的最后一个时间步的输出数据段s_l的时间特征输出表达式为h'_k+s‑1AvalCNN：h'_k+s‑1＝R_2n(F_l),h'_k+s‑1∈^m其中m是LSTM单元隐藏状态的大小；步骤7、馈送到softmax层进行处理完全连接层的后面是最终softmax层，将输出每个类的最终概率预测，输出表达式为：Aval_softmax:P_l＝S_m((h'_k+s‑1),P_l∈^k其为产生每个类的最终概率预测，R^k表示K维向量空间的集合；步骤8、判定是否疲劳驾驶二维CNN阶段和最终分类阶段处理完之后，将退出多级雪崩式卷积递归网络框架操作；根据softmax层输出结果判断驾驶员是否处于疲劳驾驶状态；如果没有疲劳驾驶情况，则继续进行EEG信号的采集与处理。