[发明专利]一种多模态数据同步可视化系统

权利要求书

1.一种多模态数据同步可视化系统，其特征在于，包括数据采集模块、数据读取模块、数据显示模块、播放参数设置模块和播放控制模块；

所述数据采集模块在受试者观看屏幕上播放的实验视频时采集三部分数据：一是受试者的脑电数据；二是受试者面部表情变化数据；三是受试者眼睛注视屏幕位置的眼动数据；

所述数据读取模块读取四部分内容：一是采集的受试者的脑电数据；二是采集的录制受试者面部表情变化数据的视频；三是采集的受试者眼睛注视屏幕位置的眼动数据；四是屏幕上播放的实验视频，又称屏幕录制视频；

所述数据显示模块将数据读取模块读取的四部分内容通过计算机的画布进行可视化显示；所述脑电数据的波形直接显示在画布上；所述屏幕录制视频和受试者面部表情变化数据的视频，被解析成一帧一帧的图像后直接绘制在画布中；所述眼动数据的可视化显示是将脑电信号对应的同一时刻左右眼注视屏幕的坐标在屏幕录制图像上进行标注；

所述播放参数设置模块包括两部分功能，一是对脑电数据进行可视化显示时选择实时显示的脑电数据的通道；二是对脑电数据播放速度进行调节；

所述播放控制模块包括如下五个功能：(1)选择屏幕录制视频和受试者面部表情变化数据的视频的显示精度；(2)实现脑电数据、屏幕录制视频、受试者面部表情变化数据的视频和眼动数据的同步播放；(3)实现播放时对进度的控制，包括设置进度条、播放按钮、暂停按钮、下一秒按钮和退出按钮；(4)对画布进行布局，将画布划分成上、下左、下右三部分，上部分显示脑电数据波形，下左部分显示受试者面部表情变化数据的视频，下右部分显示屏幕录制视频；(5)对眼动数据在屏幕录制视频中进行标注。

2.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述数据读取模块将脑电数据存储在一个二维数组中，数组第一维代表时间信息，第二维代表通道信息，数组每一行数据称之为一个采样点。

3.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述解析屏幕录制视频和受试者面部表情变化数据的视频时将视频解析成一帧一帧的图像，能够获取视频长度、分辨率、视频总帧数和视频帧率。

4.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述采集的受试者眼睛注视屏幕位置的眼动数据时以屏幕的左上角为坐标轴原点，左右眼睛注视位置分别通过一组坐标进行表示，同时记录受试者的左右眼瞳距和注视的中心位置。

5.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述播放时对进度的控制采用滑动条让用户设定播放速度，滑动条范围在0到1之间，每次最小移动距离为0.1，代表用户播放速度在0到1之间自由选择，选择的精度是0.1。

6.根据权利要求1所述的一种多模态数据同步可视化系统，其特征在于，所述播放控制模块通过同步播放控制实现脑电数据、屏幕录制视频、受试者面部表情变化数据的视频、眼动数据之间关于时间戳的对应关系并且进行同步播放。