[发明专利]一种面向渐冻人设计的人机交互系统

权利要求书

1.一种面向渐冻人设计的人机交互系统，其特征在于，包括人脸采集模块、人眼定位模块、眨眼识别模块和交互模块；

所述人脸采集模块实时采集人脸图片；

所述人眼定位模块对人脸图片进行分析，计算得到人眼关键点在图片中的坐标位置；

所述眨眼识别模块基于人眼关键点在图片中的坐标位置判断是否眨眼；

所述交互模块实现基于眨眼动作完成人机交互。

2.根据权利要求1所述的一种面向渐冻人设计的人机交互系统，其特征在于，所述人眼定位模块对人脸图片进行分析，计算得到人眼如下六个关键点在图片中的坐标位置：

左侧眼角关键点、右侧眼角关键点、左侧上眼睑关键点、右侧上眼睑关键点、左侧下眼睑关键点以及右侧下眼睑关键点。

3.根据权利要求1所述的一种面向渐冻人设计的人机交互系统，其特征在于，所述人眼定位模块基于级联深度神经网络模型对人脸图片进行分析；

所述级联深度神经网络的各阶网络的输入均为整张图片，先通过相似变化矩阵T_t对图片进行矫正，将输入图片S_t-1变化得到S_t，变化公式如下：

S_t＝T_t^-1(T_tS_t-1+ΔS_t)

再使用H(X,Y)函数对变化好的图片进行运算，得到关键点热图H(i)，计算公式如下：

同时计算输入图片的特征图，先将图片输入全连接层，再使用线性整流函数作为激活函数，最后进行上采样，得到特征图fc；

ReLU函数的公式如下：

f(x)＝max(0,x)

其中,S_t-1为输入图片，T_t为相似变化矩阵，S_t为矫正完成的图片，△S_t为S_t与S_t-1之间的偏移量，S_i为关键点坐标，X为全连接层的输出值；

通过将特征图fc、关键点热图H(i)和变换好的图片输入下一层网络，经过多层迭代，最终得到人眼关键点检测模型，能够标记出人眼关键点。

4.根据权利要求1-3任一所述的一种面向渐冻人设计的人机交互系统，其特征在于，所述眨眼识别模块基于人眼关键点在图片中的坐标位置计算人眼上下眼睑之间距离与左右眼角之间距离的比值DR，用于判断是否眨眼：

对于左侧眼角关键点S1,右侧眼角关键点S2,左侧上眼睑关键点S3、右侧上眼睑关键点S4、左侧下眼睑关键点S5、右侧下眼睑关键点S6，DR计算公式如下：

x、y分别指关键点横、纵坐标值。

5.根据权利要求1所述的一种面向渐冻人设计的人机交互系统，其特征在于，所述眨眼识别模块中，测得一组睁眼时DR的数据，和一组闭眼时DR的数据，进行卡尔曼滤波，得到闭眼时稳定的DR值区间为，睁眼时稳定的DR值区间，根据闭眼时稳定的DR值区间和睁眼时稳定的DR值区间设定眨眼DR阈值；

当DR由高于眨眼DR阈值变为低于眨眼DR阈值时检测为闭眼，再由低于眨眼DR阈值变为高于眨眼DR阈值时判断为睁眼，整个过程为眨眼一次。

6.根据权利要求5所述的一种面向渐冻人设计的人机交互系统，其特征在于，进行卡尔曼滤波时的滤波公式如下：

其中，为当前DR的估计值，ɑ为卡尔曼增益，X_k为当前DR的测量值，为上次DR的估计值。

7.根据权利要求5或6所述的一种面向渐冻人设计的人机交互系统，其特征在于，所述眨眼识别模块中，还设定有效眨眼判断时间阈值，为了区分是否为有意识地眨眼，每次检测到由睁眼变为闭眼，便开始记录DR低于眨眼DR阈值的连续时间时长，如果闭眼连续时间低于有效眨眼判断时间阈值将判定为无意识地眨眼，大于有效眨眼判断时间阈值则判定为一次有效地交互。

8.根据权利要求1所述的一种面向渐冻人设计的人机交互系统，其特征在于，所述交互模块上均匀设置26个字母以及交流短语；

使用时，交互模块界面会先循环选中每一行，检测到眨眼后会循环选中该行的每个字符按键，当再次检测到眨眼便认定为选中，字母便会出现在输出框中，完成一次输入，并且继续开始循环，等待下一次交互。