[发明专利]基于视听交互的虚拟声重放校正装置及方法

说明书

技术领域

本发明涉及虚拟声重放技术，具体涉及一种基于视听交互的虚拟声重放校正装置及方法。

背景技术

人类通过双耳感知外部的声环境。空间声源发出的声波，经过倾听者头部、肩部、耳廓等生理结构的散射、反射等物理过程后，传输到双耳。这个过程可以视为一个线性时不变的声滤波系统，通常采用头相关传输函数HRTF（Head-Related Transfer Function）描述该系统的特性。在虚拟声重放技术中，将单通路声源信号（即没有任何空间信息的声源信号）和一对HRTF（左、右耳各一）进行时间域卷积（或频率域滤波），就可以人为地合成双耳声信号；采用耳机重放合成声信号，就可以使倾听者产生声源位于特定空间方位的主观效果。HRTF是空间方位的函数；采用不同空间方位的HRTF数据，通过虚拟声技术，就可以使倾听者形成声源位于不同空间方位的主观效果。

由于HRTF描述了生理结构（例如头部、肩部、耳廓）对声波的作用，所以它和生理结构密切相关。由于不同个体具有不同的生理结构特征（例如头部尺寸、耳廓细微结构），所以HRTF因人而异，具有个性化特征。研究表明，高质量的虚拟声重放系统需要采用倾听者自身的HRTF（即个性化HRTF）数据进行双耳声信号合成。然而，测量个性化HRTF需要特定的场所和专业的设备，且比较耗时。因此，在实际应用中，无法获取所有潜在倾听者的个性化HRTF数据，通常采用非个性化的通用HRTF数据。通用HRTF数据或取自假人（例如KEMAR，Knowles Electronics Manikin for Acoustic Research），或取自某个既定的真人数据。由于通用HRTF无法反映实际倾听者HRTF的个性化特征，因此虚拟声重放时往往产生声源空间定位准确性下降、前/后方声像混淆率增加等缺陷。

发明内容

本发明针对现有虚拟声重放技术中存在的缺陷，提供了一种基于视听交互的虚拟声重放的校正装置及方法，通过视听交互的训练和学习，校正畸变的听觉信息。

为实现上述目的，本发明采用如下技术方案：

基于视听交互的虚拟声重放校正装置，包括：

上位机控制模块，用于合成不同空间方位虚拟声信号、控制虚拟声信号按一定顺序和次数向声音信号播放模块及视觉信号播放模块的发送，以及分析比较倾听者的反馈信息以判断校正是否符合预期；

听觉信号播放模块，用于根据上位机控制模块的控制信号播放合成的相应空间方位的虚拟声的音频信号；

视觉信号播放模块，用于根据上位机控制模块的控制信号可视化显示虚拟声的方位信息；

反馈模块，用于将倾听者对虚拟声空间方位的判断结果反馈至上位机控制模块进行存贮。

进一步地，所述上位机控制模块包括：

虚拟声合成模块，用于通过头相关传输函数HRTF和单通路声源信号的时间域卷积合成不同空间方位的双耳虚拟声信号； 

输出控制模块，用于控制虚拟声的音频信号和方位可视化信号的播放顺序、播放次数；

评估分析模块，用于将倾听者对虚拟声空间方位的判断进行统计分析，并与虚拟声空间方位理论值进行比较，评估校正效果，形成评估报告。

进一步地，所述听觉信号播放模块包括耳机和具有USB接口的外置声卡，所述外置声卡接收上位机控制模块发来的合成虚拟声信号和控制信号，进行D/A转换后，通过耳机按预定播放次数播放给倾听者。

进一步地，所述视觉信号播放模块包括具有串行通信接口UART和通用接口GPIO单片机及若干表示虚拟声方位的LED灯，所述单片机通过串行通信接口UART接收上位机控制模块发来的包含虚拟声方位信息的指令，解码后通过通用接口GPIO控制相应空间方位的LED灯。

进一步地，所述单片机型号为AT89S52C。

采用所述的装置进行虚拟声重放校正方法，包括步骤：

步骤 1. 选取训练空间方位的HRTF，将其和选定的单通路声源信号进行卷积，得到合成的13个空间方位的虚拟声信号，所述13个空间方位取水平面θ = 0°～ 180°之间均匀间隔15°的13个空间方位，单通路声源信号选取200毫秒长的白噪声；

步骤2. 设定训练流程，由上位机控制模块设定耳机播放虚拟声信号和LED灯开闭的顺序以及虚拟声重复播放的次数；