[发明专利]一种脑电控制的视频输入听觉显示导盲装置及方法

摘要

本发明公开一种脑电控制的视频输入听觉显示导盲装置及方法。所述装置包括视频采集模块、脑电采集模块、处理器和音频播放模块，视频采集模块与处理器连接，脑电采集模块与处理器连接，用于采集脑电信号，音频播放模块与处理器连接，处理器分别与视频采集模块、脑电采集模块、音频播放模块连接。本发明通过脑电信号实现导盲装置中感兴趣区域的控制，可以方便地实现感知图像全貌和感知图像中感兴趣细节之间的切换，使用脑电来设置当前视频中感兴趣区域，为使用者提供了灵活的听觉显示分辨率和控制方法，使用者可以通过感兴趣区域的设置来感知图像全局信息或局部细节信息，能有效弥补听觉显示分辨率低的不足。本发明可广泛用于各种需要导盲的场合。

主权项

1.基于脑电控制的视频输入听觉显示导盲装置的脑电控制的视频输入听觉显示导盲方法，所述脑电控制的视频输入听觉显示导盲装置，包括视频采集模块、脑电采集模块、处理器和音频播放模块，其中视频采集模块与处理器连接，用于采集视频信号，脑电采集模块与处理器连接，用于采集脑电信号，音频播放模块与处理器连接，用于播放处理器合成的音频，处理器分别与视频采集模块、脑电采集模块、音频播放模块连接，用于完成从视频信号中提取图像信息、将图像信息映射为音频信号、根据脑电信号改变当前感兴趣区域的功能；/n其特征在于包含以下步骤：/n步骤1：通过视频采集模块采集视频信号，并传送到处理器；/n步骤2：处理器提取视频中的当前感兴趣区域的图像信息；/n步骤3：处理器根据当前的图像信息到音频信号的映射关系，将步骤2得到的图像信息映射为音频信号；/n步骤4：将步骤3得到的音频信号输出至音频播放模块进行播放；/n步骤5：通过脑电采集模块采集脑电信号，并传送到处理器；/n步骤6：处理器对当前的脑电信号进行识别，并根据识别结果修改当前感兴趣区域的设置，然后转步骤1继续执行；/n步骤2采用以下方法提取视频中的当前感兴趣区域的图像信息：/n步骤2.1：从当前的视频流中截取一帧图像；/n步骤2.2：根据当前感兴趣区域的位置，在当前视频图像中截取相应的子图；/n步骤2.3：对步骤2.2得到的子图进行图像分割，对前景物体和背景进行划分；/n步骤3中，采用以下方法将图像信息映射为音频信号：/n步骤3.1：将图像中每个像素的坐标映射为声场中的来波方向；/n步骤3.2：根据当前图像亮度到音频信号映射强度的设置，将前景物体像素的亮度映射为声音强度；/n步骤3.3：计算每个像素对应来波方向的头部传输函数，将预设的激励音频放大至所述像素点对应的声音强度后，用所述头部传输函数进行滤波，得到所述像素点对应的双声道音频信号；/n步骤4中，按以下方法将音频信号输出至音频播放模块进行播放：/n步骤4.1：选择步骤2.2得到的子图中的一个前景物体；/n步骤4.2：提取所述前景物体所有像素点对应的双声道音频信号；/n步骤4.3：逐次播放上述双声道音频信号；/n步骤4.4：若子图中仍有前景物体未被选择，则选择未被选过的前景物体，转步骤4.2，否则则结束该帧图像对应音频的播放。/n