[发明专利]一种缄默通信方法、系统和存储介质

权利要求书

1.一种缄默通信方法，其特征在于，包括：

在第一用户说话过程中，分别采集第一惯性测量单元IMU信号、第一肌电图EMG信号和第一语音信号；

根据所述第一IMU信号确定关节肌肉的第一形态位置变化信息；

根据所述第一EMG信号确定第一肌电变化信息；

从所述第一语音信号中提取第一声学表示特征信息；

基于所述第一形态位置变化信息、所述第一肌电变化信息和所述第一声学表示特征信息进行训练，得到语音预测模型；

利用所述语音预测模型，在第二用户进行语音表达的过程中，识别所述第二用户表达的语音信息；

所述IMU信号用于收集用户说话时面部关节肌肉以及喉部关节肌肉信息。

2.如权利要求1所述的方法，其特征在于，基于所述第一形态位置变化信息、所述第一肌电变化信息和所述第一声学表示特征信息进行训练，得到语音预测模型，具体包括：

基于所述第一形态位置变化信息、所述第一肌电变化信息和所述第一声学表示特征信息进行训练，利用双向长短时记忆神经网络进行训练，得到语音预测模型。

3.如权利要求1所述的方法，其特征在于，所述语音预测模型中包含有形态位置变化信息和肌电变化信息与声学表示特征信息之间的对应关系；以及

利用所述语音预测模型，在第二用户进行语音表达的过程中，识别所述第二用户表达的语音信息，具体包括：

在所述第二用户进行语音表达的过程中，分别接收第二形态位置变化信息和第二肌电变化信息；

基于所述第二形态位置变化信息和所述第二肌电变化信息，利用所述语音预测模型预测其对应的第二声学表示特征信息；

利用所述第二声学表示特征信息进行语音合成得到所述第二用户表达的语音信息。

4.如权利要求3所述的方法，其特征在于，还包括：

利用无线通信方式传输所述第二用户表达的语音信息。

5.如权利要求3所述的方法，其特征在于，在分别接收第二形态位置变化信息和第二肌电变化信息之前，还包括：

分别采集第二IMU信号和第二EMG信号；

根据所述第二IMU信号确定关节肌肉的第二形态位置变化信息；

根据所述第二EMG信号确定第二肌电变化信息。

6.如权利要求1所述的方法，其特征在于，采集第一IMU信号，具体包括：

通过放置于人体喉部和面部的IMU惯性测量单元采集第一IMU信号。

7.如权利要求1所述的方法，其特征在于，采集第一EMG信号包括：

通过放置于人体喉部和面部的肌电电极片采集第一EMG信号。

8.一种缄默通信系统，其特征在于，包括：

惯性测量单元IMU模块，用于在第一用户说话过程中，采集第一IMU信号；以及根据所述第一IMU信号确定关节肌肉的第一形态位置变化信息，并传输给处理与控制模块；

肌电图EMG模块，用于在第一用户说话过程中，采集第一EMG信号；以及根据所述第一EMG信号确定第一肌电变化信息，并传输给处理与控制模块；

语音模块，用于在第一用户说话过程中，采集第一语音信号；以及从所述第一语音信号中提取第一声学表示特征信息，并传输给处理与控制模块；

处理与控制模块，用于基于所述第一形态位置变化信息、所述第一肌电变化信息和所述第一声学表示特征信息进行训练，得到语音预测模型；利用所述语音预测模型，在第二用户进行语音表达的过程中，识别所述第二用户表达的语音信息；

所述IMU信号用于收集用户说话时面部关节肌肉以及喉部关节肌肉信息。

9.一种计算装置，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～7任一权利要求所述方法的步骤。

10.一种计算机可读介质，其特征在于，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行权利要求1～7任一所述方法的步骤。