[发明专利]一种基于低成本可穿戴传感器的语音增强系统

权利要求书

1.一种基于低成本可穿戴传感器的语音增强系统，包括可穿戴设备和智能设备，所述可穿戴设备包括微控制单元、音频处理单元、滤波器、入耳式耳机和压电陶瓷片，其中入耳式耳机和压电陶瓷片在微控制单元的控制下分别采集用户发声时耳道内的声音信号和颈部振动信号，并传输至智能设备；

所述智能设备用于对接收的颈部振动信号和耳道内声音信号进行对齐处理后，提取对应的时频图或时间序列，输入到预训练的深度学习模型，获得目标质量语音信号，该目标质量语音信号的分辨率和用户听感优于所述可穿戴设备采集的信号；

其中，所述智能设备根据以下步骤获得目标质量语音信号：

将颈部振动信号和耳道内声音信号输入第一深度学习模型，获得第一目标质量信号，所述第一深度学习模型反映低成本低采样率的传感器信号与高成本低采样率的传感器信号之间的对应关系，以将低成本低采样率的传感器信号转换为高成本低采样率的传感器信号；

将第一目标质量信号输入第二深度学习模型，获得最终的目标质量语音信号，其中，所述第二深度学习模型反映高成本低采样率的传感器信号，与高成本高采样率的传感器信号之间的对应关系，以将高成本低采样率的传感器信号转换为高成本高采样率的传感器信号。

2.根据权利要求1所述的系统，其特征在于，所述可穿戴设备外壳上设置启动键，用于根据用户的启动操作，开始检测发声事件，并在检测到发声事件的情况下，将采集到的耳道内声音信号和颈部振动信号传输至所述智能设备。

3.根据权利要求1所述的系统，其特征在于，所述可穿戴设备在佩戴状态下，所述压电陶瓷片的位置贴近用户声带位置。

4.根据权利要求1所述的系统，其特征在于，所述微控制单元是ESP32，所述音频处理单元是音频处理芯片VS1053，所述滤波器是LM358，ESP32通过SPI通讯协议进行数据传输，采集到的声音信号被转化成WAV音频格式存储到SD卡。

5.根据权利要求1所述的系统，其特征在于，所述可穿戴设备对颈部振动信号和耳道内声音信号采用哈夫曼算法进行压缩，将压缩数据传输给所述智能设备。

6.根据权利要求1所述的系统，其特征在于，所述智能设备根据以下步骤对接收的颈部振动信号和耳道内声音信号进行对齐处理：

将颈部振动信号和耳道内声音信号转换成预定窗口大小的能量序列；

计算颈部振动信号和耳道内声音信号的互相关值，获得粗粒度的互相关值，并进行粗粒度时间同步；

对于颈部振动信号和耳道内声音信号，获取粗粒度对齐的位置前后的一段原始数据，计算它们的互相关值，获得细粒度的互相关值，并进行细粒度的时间同步。

7.根据权利要求1所述的系统，其特征在于，所述智能设备是智能手机、平板电子设备、台式电脑或车载设备，所述可穿戴设备是颈戴式设备。

8.一种基于低成本可穿戴传感器的语音增强方法，包括以下步骤：

采集用户发声时颈部振动信号和耳道内声音信号；

对所述颈部振动信号和耳道内声音信号进行对齐处理后，提取对应的时频图或时间序列，输入到预训练的深度学习模型，获得目标质量语音信号，该目标质量语音信号的分辨率和用户听感优于可穿戴设备采集的信号；

其中，根据以下步骤获得目标质量语音信号：

将颈部振动信号和耳道内声音信号输入第一深度学习模型，获得第一目标质量信号，所述第一深度学习模型反映低成本低采样率的传感器信号与高成本低采样率的传感器信号之间的对应关系，以将低成本低采样率的传感器信号转换为高成本低采样率的传感器信号；

将第一目标质量信号输入第二深度学习模型，获得最终的目标质量语音信号，其中，所述第二深度学习模型反映高成本低采样率的传感器信号，与高成本高采样率的传感器信号之间的对应关系，以将高成本低采样率的传感器信号转换为高成本高采样率的传感器信号。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求8所述的方法的步骤。