[发明专利]基于多频带融合的TENS信号生成方法、系统、设备及介质

说明书

本发明涉及多模态信号融合技术领域，其目的在于提供一种基于多频带融合的TENS信号生成方法、系统、设备及介质。其中的方法包括：接收音频信号，并获取音频信号的梅尔频谱；对所述梅尔频谱进行频带划分，得到多个频带，并分别获取各频带的能量值；对所述梅尔频谱中同一频带的梅尔标度对应的能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集；将所述的频带能量集中的频率与指定的震动电信号频率建立一对一的映射关系，并使用频带能量集对应的能量值作为幅度值，生成一系列单一频率的方波信号；对所有的方波信号进行合成处理，得到TENS信号。本发明可实现触觉和听觉的融合效果。

技术领域

本发明涉及多模态信号融合技术领域，特别是涉及一种基于多频带融合的TENS信号生成方法、系统、设备及介质。

背景技术

多模态信号融合是虚拟现实增强技术的基础之一。目前基于视觉和听觉信号处理与增强的技术较多，但是对于触觉信号的融合还处于研究阶段。一方面，引入触觉信号对于人体感知有着巨大的提升，可以显著提高各种虚拟现实增强技术的体验。例如，主流的游戏主机(如X-box、Sony PlayStation及Nintendo Switch)都会加入带有震动功能的游戏手柄以提高玩家的游戏体验；视频网站(如B站)使用机械震动配合节奏性较强的视频来提高观看体验。另一方面，触觉在医疗和保健方面有其独特的应用，例如通过按摩仪按摩以缓解疼痛。

目前对于触觉的刺激可以使用如震动马达等传统的机械进行震动模拟触觉刺激，还可以使用电信号模拟触觉刺激，即采用经皮电神经刺激(Transcutaneous ElectricalNerve Stimulation，TENS)机制。其中，SKG(一可穿戴按摩仪品牌)公司也推出了通过TENS刺激的按摩椅产品。但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：

1)目前基于TENS的产品产生的电信号是简单的周期性信号，体验单一；

2)目前基于TENS的产品产生的信号不能自动与其他感官信号(比如听觉)进行融合。

发明内容

本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种基于多频带融合的TENS信号生成方法、系统、设备及介质。

本发明采用的技术方案是：

第一方面，本发明提供了一种基于多频带融合的TENS信号生成方法，包括：

接收音频信号，并获取所述音频信号的梅尔频谱；

对所述梅尔频谱进行频带划分，得到多个频带，并分别获取各频带的能量值，然后对所述梅尔频谱中同一频带的梅尔标度对应的能量值进行合并处理，得到与所述梅尔频谱对应的频带能量集；将所述的频带能量集中的频率与指定的震动电信号频率建立一对一的映射关系，并使用频带能量集对应的能量值作为幅度值，生成一系列单一频率的方波信号；

对所有的方波信号进行合成处理，得到TENS信号。

本发明得到的TENS信号与音频信号的协调性好，便于提升用户体验。具体地，本发明在实施过程中，先获取音频信号的梅尔频谱，然后分别获取梅尔频谱中各频带的能量值，再将该能量值作为幅度值，并将指定震动电信号频率作为频率值，得到梅尔频谱中各频带对应的方波信号，最后得到TENS信号。在此过程中，本发明通过将音频信号对应的各频带分别与指定震动电信号频率进行融合的方式得到TENS信号，使得TENS信号可依次与音频信号的各信号段相适应，TENS信号可随各段音频信号对应的能量值的变化而发生改变，由此实现TENS信号与用户听到的音频数据相结合的技术效果，从而实现触觉和听觉的融合，使得用户体验更佳。

在一个可能的设计中，获取所述音频信号的梅尔频谱后，所述方法还包括：

设定每个频带对应的最小指定频率阈值和最大指定频率阈值；