[发明专利]一种基于图标脑电控制的数字界面交互方法

说明书

技术领域

本发明涉及一种基于图标脑电控制的数字界面交互方法，属于神经科学与人机交互的交叉领域，为一种全新的数字界面交互方式，采用脑机接口技术实现图标对数字界面的交互和控制，可作为无手操作的新型的数字界面交互方式，适用于残疾人等特殊人群和军事人员。

背景技术

随着科学技术的发展和进步，数字界面已广泛应用于汽车驾驶、核电厂控制、航空舰载操控、战场指挥等复杂系统领域，并取代传统人-机硬件界面成为主要的功能载体和交互载体。图标是数字界面的重要组成部分，图标的应用可方便用户更快速的理解界面，消除用户与计算机的沟通障碍，使用户与计算机之间的交流更简单、自然、友好和方便。本发明中“图标”指数字界面中的功能标识符号。

计算机用户界面经历了以符号为主的命令语言式界面、以视觉感知为主的图形用户界面、兼顾听觉感知的多媒体用户界面和综合运用多种感官(包括触觉等)的虚拟现实系统界面等四个阶段。人机交互方式也越来越多样化，除了传统的鼠标、键盘之外，语音控制、手势操作、人脸识别、触摸控制等交互方式都在数字界面上得到了不同程度的应用，各项技术正在不断发展、日益成熟。

目前，脑机接口（Brain-computer Interface，BCI）已变成一种新型的人机交互方式，BCI通过采集和传送大脑神经系统的电活动信号，然后进行信号处理与模式识别，使计算机能够识别用户的脑电信号，最终完成用户希望的控制行为。

脑机接口应用系统主要分为两大类应用：其一是直接用脑电信号控制家电、医疗器材等智能设备，其二是实现对计算机的控制。本发明属于第二种应用，属于视觉诱发事件相关电位的脑机接口，基于图标脑电控制实现对数字界面的交互。

发明内容

本发明的目的提供了一种基于图标脑电控制的数字界面交互方法，通过获取数字界面中不同图标的脑电信号特征，依据不同图标脑电信号的差异，实现对数字界面的脑电控制，使得特殊场合和特殊人群的人机交互更加友好方便。

一种基于图标脑电控制的数字界面交互方法，其特征在于，包括以下步骤：

步骤1图标搜集与处理：从多款数字界面中搜集i个功能图标图片，i=1、2、……、10，运用Photoshop，Illustrator或Coreldraw图形图像处理软件对图标图片处理，得到面积和像素均为48px*48px的png格式的图标图片，将png格式的图标图片放入面积为1024px*768px的白色背景图片中央，生成文件格式为bmp的图标图片，

步骤2获取图标图片的用户计算机功能控制命令：

步骤2.1将事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机连接，以实现事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机的通信，

步骤2.2选取20名被试者，每名被试者对张图标图片均进行10次重复测试，每张图标图片获得200个测试样本并将200个测试样本组成一个群组，所述测试的过程为：将一张测试图像呈现在被试者的面前并对被试者的视觉形成刺激，使用佩戴在被试者头上的由事件相关电位ERP脑电设备中配置的电极帽以及Scan软件采集被试者对所述一张测试图像的刺激时段的原始脑电信号且采样率为500赫兹，遍历所有单张测试图像，得到被试者对所有测试图像的刺激时段的原始脑电信号，所述一张测试图像的呈现包括提示阶段、图标图片视觉刺激呈现阶段及空屏阶段，在提示阶段，屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，该阶段被试者需集中注意力；在图标图片视觉刺激呈现阶段，屏幕中央将呈现面积为48px*48px的任一单张图标图片，被试者仔细观察任一单张图标图片，呈现1000ms后消失；在空屏阶段，屏幕呈现白色空屏，呈现时间1000ms，以消除被试者的视觉残留，

步骤2.3用Scan软件对原始脑电信号离线分析，所述离线分析包括对各原始脑电信号进行预处理和各群组叠加平均，获取各图标图片的群组平均脑电信号为图标图片的群组平均脑电信号的表达通式，表示第i个图标图片的群组平均脑电信号，