[发明专利]一种基于空间声的人机交互方法和系统

说明书

技术领域

本发明涉及人机交互领域，具体涉及一种基于空间声的人机交互方法和系统。

背景技术

用户消费多媒体内容时，常常通过显示设备(计算机屏幕，移动设备屏幕，虚拟现实显 示屏幕)来欣赏视频，通过立体声耳机欣赏音频内容。弹幕是近年来兴起的一种在屏幕上实 时显示用户评论的方式，可以给观众一种“实时互动”的错觉。

弹幕作为用户对视频内容的实时评论，可以有效的提升用户的兴趣，增加用户的粘性。 但同时传统弹幕用文字的方式也带来遮挡视频内容的弊病，一些不合时宜的弹幕也会降低观 众对于视频的注意力。

在用虚拟现实设备观看内容时，如常见的虚拟影院模式，用户置身于一个虚拟影院环境 中，前方是电影的大屏幕。在此场景中，如果使用声音评论则会提升临场感，并降低用户孤 独感，当然，在观看普通电影时，只要戴着立体声耳机，用户也可以使用语音弹幕。

在用虚拟现实设备观看全景视频内容时，语音弹幕可以起到引导用户更有效的观看视频 的作用。这也是传统基于文字的弹幕所不具备的。这要求播放语音评论时空间声的方位和录 制时的方位是一致的(在这里方位是指用户观看全景视频的方位)。比如，用户在观看第一个 方向的视频内容是，有来自左侧90度方向的语音评论，则用户就会被引导向左转头90度去 观看相应的视频内容。相应的播放模块需要旋转声场使得原来90度的语音评论听起来是来自 正前方。如何实现上述功能，目前还没有比较有效的解决方案。

发明内容

本发明主要解决的技术问题是提供一种基于空间声的人机交互方法和系统，利用改变声 音的双耳声级差和双耳时间差，生成基于双耳的空间声，实现声音在三维空间中的定位，引 导用户更有效的观看全景视频，从而提升用户的兴趣。

为解决上述技术问题，本发明采用如下技术方案：

一种基于空间声的人机交互的方法，其特征在于，包括如下步骤：

步骤S1，通过客户端麦克风录入客户声音，，对录入的所述声音数据进行初级筛选，获 取声音数据；

步骤S2，将所述声音数据上传到服务器端；

步骤S3，所述服务器端对接收到的所述语音数据进行分析和整合；

步骤S4，对所述语音数据进行空间声生成渲染；

步骤S5，通过所述客户端的播放端播放所述语音数据，生成空间声弹幕。

进一步，所述步骤1在录入所述声音数据的同时记录如下信息：

语音录制时间：用于后期对语音排序使用；

在录制时相应视频内容的时间：用于确定语音被回放的时间点；

使用的是虚拟现实设备观看全景视频时，还需要记录所述语音数据录入时观看视角。

进一步，所述步骤3中所述分析和整合包括：

对所述语音数据进行筛选，包括使用语音识别、关键词审查、音频分析技术去除噪音过 大和含有不雅词汇；

对所述语音数据进行优先级排序；

生成播放列表，包括文件名和相关的元数据，用来表明语音文件的播放时间及空间位置。

进一步，所述语音数据优先级排序规则为所述语音数据物理性质适宜播放，VIP会员， 评论内容与视频内容相关性和评论的新旧程度。

进一步，所述步骤S4中所述空间声生成渲染方法为：

根据所述步骤S1中所述声音数据录音时记录下的时间和观看视角，改变声音的双耳声级 差和双耳时间差，生成基于双耳的空间声，实现声音在三维空间中的定位。

进一步，所述声音数据录音时记录下的时间和观看视角可以在所述服务器端根据需求修 改。

进一步，在所述空间声生成渲染方法中使用头部相关传递函数(HRTF)滤波器，获得对 声音在三维感知空间中更为真实的模拟，所述HRTF滤波器系数可以通过测量或使用数学模 型来获得，分为左耳和右耳的传递函数；

对于一个音源S，放在空间中θ角度，所述θ角度根据所述观看视角确定，则所述音源S 双耳化过程为：