[发明专利]一种脑电控制的视频输入听觉显示导盲装置及方法

权利要求书

1.基于脑电控制的视频输入听觉显示导盲装置的脑电控制的视频输入听觉显示导盲方法，所述脑电控制的视频输入听觉显示导盲装置，包括视频采集模块、脑电采集模块、处理器和音频播放模块，其中视频采集模块与处理器连接，用于采集视频信号，脑电采集模块与处理器连接，用于采集脑电信号，音频播放模块与处理器连接，用于播放处理器合成的音频，处理器分别与视频采集模块、脑电采集模块、音频播放模块连接，用于完成从视频信号中提取图像信息、将图像信息映射为音频信号、根据脑电信号改变当前感兴趣区域的功能；

其特征在于包含以下步骤：

步骤1：通过视频采集模块采集视频信号，并传送到处理器；

步骤2：处理器提取视频中的当前感兴趣区域的图像信息；

步骤3：处理器根据当前的图像信息到音频信号的映射关系，将步骤2得到的图像信息映射为音频信号；

步骤4：将步骤3得到的音频信号输出至音频播放模块进行播放；

步骤5：通过脑电采集模块采集脑电信号，并传送到处理器；

步骤6：处理器对当前的脑电信号进行识别，并根据识别结果修改当前感兴趣区域的设置，然后转步骤1继续执行；

步骤2采用以下方法提取视频中的当前感兴趣区域的图像信息：

步骤2.1：从当前的视频流中截取一帧图像；

步骤2.2：根据当前感兴趣区域的位置，在当前视频图像中截取相应的子图；

步骤2.3：对步骤2.2得到的子图进行图像分割，对前景物体和背景进行划分；

步骤3中，采用以下方法将图像信息映射为音频信号：

步骤3.1：将图像中每个像素的坐标映射为声场中的来波方向；

步骤3.2：根据当前图像亮度到音频信号映射强度的设置，将前景物体像素的亮度映射为声音强度；

步骤3.3：计算每个像素对应来波方向的头部传输函数，将预设的激励音频放大至所述像素点对应的声音强度后，用所述头部传输函数进行滤波，得到所述像素点对应的双声道音频信号；

步骤4中，按以下方法将音频信号输出至音频播放模块进行播放：

步骤4.1：选择步骤2.2得到的子图中的一个前景物体；

步骤4.2：提取所述前景物体所有像素点对应的双声道音频信号；

步骤4.3：逐次播放上述双声道音频信号；

步骤4.4：若子图中仍有前景物体未被选择，则选择未被选过的前景物体，转步骤4.2，否则则结束该帧图像对应音频的播放。

2.根据权利要1所述的脑电控制的视频输入听觉显示导盲方法，其特征在于步骤6中，采用以下方法根据当前的脑电信号修改当前感兴趣区域的设置：

当音频播放模块播放一个前景物体像素点对应的音频信号时，检测脑电信号中是否存在听觉诱发电位，当持续检测到听觉诱发电位时，按预设步长将当前感兴趣区域中心向上述前景物体的中心移动，并按预设步长减少感兴趣区域的面积；当检测不到持续的听觉诱发电位时，按预设步长将当前感兴趣区域中心向步骤2.1得到的图像中心移动，并按预设步长增加感兴趣区域的面积。

3.根据权利要求1所述的脑电控制的视频输入听觉显示导盲方法，其特征在于所述视频采集模块为可见光视频信号采集模块、深度视频信号采集模块中的至少一种。

4.根据权利要求1所述的脑电控制的视频输入听觉显示导盲方法，其特征在于所述装置还包含与处理器连接的输入模块，用以设置装置的参数。