[发明专利]一种将视觉信息转换成听觉信息的视觉辅助方法

说明书

技术领域

本发明属于机器视觉领域，具体涉及一种将视觉信息转换成听觉信息的视觉辅助方法。

背景技术

人类接触到的外界信息有70％来源于视觉，视力的丧失造成了这部分残疾人的生活和工作极度不便，因此人们一直在努力研究辅助方法来帮助对周围的生活环境做出正确的理解，利用科技手段帮助视障者拓展独立生活及工作能力逐渐成为一项备受关注的课题。目前国内外视觉辅助器材的研制尚处于起步阶段，涉足该领域的科研人员相对有限，虽然取得了一定成就，但其功能依然具有较大的局限性。常用助盲系统主要采用超声波传感器，该方法简单但功能仅局限于障碍物探测。机器视觉技术是近年来国际上的一个研究热点，被广泛应用于导航、智能机器人、三维测量学及虚拟现实等领域，该方法功能强大，可实现障碍物定位与跟踪、道路识别、物体识别等多项功能，其提供的视觉功能，赋予了为视障者实现或者替代部分视觉功能的目标以一种现实的可能性。

目前比较成熟的视觉辅助方法中，基于将图像转换成声音的OIC系统成为普遍适用的方法。然而OIC系统只能将图像转换成声音信号，该方法不符合人类的感知习惯，因此发明是将目标物体的3D位置信息转换成声音信号，用户通过收听该声音信号判断目标物体的空间位置。

发明内容

本发明要解决的技术问题是提供一种将视觉信息转换成听觉信息的视觉辅助方法。

本发明是通过以下技术方案实现的，本发明步骤如下：

步骤一，采集环境中物体左右两幅图像，对图像进行预处理，包括消除噪声、图像增强。

步骤二，利用相机获得周围环境的立体图像对后，从中选取盲人关注的目标物体。

步骤三，对目标物体进行特征提取及匹配，并利用三角测量原理恢复出匹配目标点的三维位置信息。

步骤四，产生包含目标空间位置的三维声像，盲人通过收听该立体声音信号来判断目标物体所在的位置。

所述步骤一中，采集图像是采用双目相机。

所述步骤二中，获取目标物体是通过建立视觉注意度模型，得到所关注物体的显著图进行图像分割，得到目标物体。

所述步骤三中，首先采用主成分分析与SIFT算法相结合进行特征点匹配，再将匹配结果用极线约束理论进行筛选，再根据双目视觉原理得到匹配点的三维位置信息。

所述步骤四中，是通过头相关传递函数产生含有空间位置的三维声像，头相关函数是通过测量少量位置的HRTF并经过插值方法获得。

盲人通过听觉判断目标物体的空间位置。

与现有技术相比，本发明有以下几方面的优点：设备简单，携带方便，符合人类的感知习惯。

具体实施方式

下面对本发明的实施例做详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述实施例。

实施例的实现过程如下：

1.双目相机固定放置在盲人的头顶，采集前方左右两幅图像，对图像进行预处理；

2.将得到的图像结果进行目标提取得到目标物体；利用ITTI模型，通过建立视觉注意度模型，得到所关注物体的显著图进行图像分割，得到目标物体。

3.将得到目标物体首先采用主成分分析与SIFT算法相结合进行特征点初次匹配，(1)构建尺度空间(2)检测DOG尺度空间极值点(3)特征点的描述(4)特征点的匹配

利用SIFT方法对两幅图像进行关键点匹配，一般情况下会得到数量众多的匹配点，其中也会有一些错误的匹配情况，针对这个问题，在选取匹配点对时，我们利用极线几何原理对得到的大量的匹配点进行筛选，保留少量的并且准确的匹配点。再通过双目测距算法，得到目标物体的三维位置信息。

4.如果已知在一个自由声场中的人耳的脉冲响应，把单音源信号分别与左右耳的脉冲响应进行卷积处理后，输出的双耳声信号通过耳机重发，就可以使听者感知到的虚拟环境中空间三维的声音信号，等同听到真实世界的声音效果。

得到了目标物体的位置之后，用头相关传递函数与声源信号做卷积产生包含目标空间位置的三维声像。由于每个人的生理结构互不相同，个体之间的HRTF存在许多差异，因此只有使用听者本人的个性HRTF，才能获得最优的3D声场重建效果。通过测量少量位置头相关函数并经过插值的方法得到，从而达到帮助盲人精确定位的目的。

盲人通过佩戴耳机收听该立体声音信号从而判断目标物体所在的位置，从而进行行走避障。

由以上实施例可以看出，本发明能够帮助盲人通过收听声音信息判断目标物体的空间位置信息，从而更好的判断周围环境信息，帮助盲人更好的生活。