[发明专利]多模态语音识别方法、系统及计算机可读存储介质

说明书

本发明公开了一种多模态语音识别方法、系统及计算机可读存储介质，该方法包括：当目标毫米波信号和目标音频信号均包含目标用户对应的人声信息时，计算第一对数梅尔频谱系数和第二对数梅尔频谱系数，并将第一对数梅尔频谱系数和第二对数梅尔频谱系数输入到融合网络中，以确定目标融合特征；融合网络至少包括校准模块和映射模块；校准模块用于目标音频信号和目标毫米波信号进行相互特征校准；映射模块用于对校准后的毫米波特征和所述校准后的音频特征进行融合处理；将目标融合特征输入到语义特征网络中，以确定目标用户对应的语音识别结果。本发明能够达到高准确率语音识别的目的。

技术领域

本发明涉及语音识别技术领域，特别是涉及一种多模态语音识别方法、系统及计算机可读存储介质。

背景技术

语音交互在智能交互场景中起着至关重要的作用，例如智能家居。语音交互提供了人与物联网设备之间的非接触式的人机交互。受益于深度学习和自然语言处理的发展，自动语音识别技术使语音交互的设备能准确获取用户说话内容。近年来，商用语音交互产品越来越受欢迎，例如智能扬声器(例如Amazon Echo和Google Home)、智能手机中的语音助手(例如Siri)以及车载语音控制交互(例如，特斯拉Model S/X/3/Y中的语音交互)。

然而，除了家庭场景以外，现如今的语音交互也需要解决公共场所(如街道、车站、大厅或聚会等)中更多样化的环境噪声(如交通噪声、商业噪声和附近的声音)。然而，基于麦克风阵列和音频的语音识别技术，要求音频信号是高信噪比且清晰的音频信号。因此，在噪音环境中，淹没在不可预测的噪音中的音频信号变得难以识别。此外，随着识别距离增长，语音质量也会逐渐衰减，从而影响识别准确率。为了解决上述这些困难，研究人员现利用多传感器信息融合进行语音增强和识别。比如，视听方法，将摄像机捕捉到的嘴唇运动与嘈杂的声音相结合，但受到照明条件、视线要求或遮挡的限制。超声辅助语音增强技术的工作距离虽然极短(20cm以内)，但是要求特定的姿势。

发明内容

本发明的目的是提供一种多模态语音识别方法、系统及计算机可读存储介质，以达到高准确率语音识别的目的。

为实现上述目的，本发明提供了如下方案：

一种多模态语音识别方法，包括：

获取目标毫米波信号和目标音频信号；

当所述目标毫米波信号和所述目标音频信号均包含目标用户对应的人声信息时，计算第一对数梅尔频谱系数和第二对数梅尔频谱系数；所述第一对数梅尔频谱系数是根据所述目标毫米波信号确定的，所述第二对数梅尔频谱系数是根据所述目标音频信号确定的；

将所述第一对数梅尔频谱系数和所述第二对数梅尔频谱系数输入到融合网络中，以确定目标融合特征；所述融合网络至少包括校准模块和映射模块；所述校准模块用于根据所述目标音频信号对所述目标毫米波信号进行特征校准处理，根据所述目标毫米波信号对所述目标音频信号进行特征校准处理，以获取校准后的毫米波特征和校准后的音频特征；所述映射模块用于对所述校准后的毫米波特征和所述校准后的音频特征进行融合处理，以得到目标融合特征；

将所述目标融合特征输入到语义特征网络中，以确定所述目标用户对应的语音识别结果。

可选的，所述获取目标毫米波信号和目标音频信号，具体包括：

获取毫米波雷达采集的目标毫米波信号；

获取麦克风采集的目标音频信号。

可选的，所述当所述目标毫米波信号和所述目标音频信号均包含目标用户对应的人声信息时，计算第一对数梅尔频谱系数和第二对数梅尔频谱系数，具体包括：

判断所述目标毫米波信号和所述目标音频信号是否均包括人声信息，得到第一判断结果；