[发明专利]基于三级特征采集的智能语音识别方法

说明书

本申请揭示了一种基于三级特征采集的智能语音识别方法、装置、计算机设备和存储介质，所述方法包括：进行声音采集处理，得到第一声音信号；对所述说话人的嘴唇进行图像采集处理，得到第二图像信号；向口腔内传感器集群发送信号获取要求；获取口腔内传感器集群发送的第三传感信号集；将第一声音信号、第二传感信号子集和第三传感信号子集共同输入第一语义识别模型中，得到第一识别文本；将第二图像信号、第一传感信号子集和第二传感信号子集共同输入第二语义识别模型中，得到第二识别文本；计算第一识别文本和第二识别文本之间的文本相似度值；若文本相似度值大于文本相似阈值，则将第一识别文本作为智能语音识别结果。

技术领域

本申请涉及到计算机领域，特别是涉及到一种基于三级特征采集的智能语音识别方法、装置、计算机设备和存储介质。

背景技术

语音识别技术用于识别采集到的语音，其已大量应用于各领域中，例如智能机器人领域中，由于语音识别技术的应用，使得自然人与智能机器人之间的语音交流成为了可能。但是，传统的语音识别方案，其识别准确性仍存在不足，例如无法准确辨别差别较小的语音（例如，对于卷舌音和平舌音，当说话人较为发音较轻且较含糊时，传统的语音识别方案难以准确识别）。因此，传统的语音识别方案的识别准确性有待提高。

发明内容

本申请提出一种基于三级特征采集的智能语音识别方法，包括以下步骤：

S1、采用预设的声音采集设备对说话人进行声音采集处理，从而得到第一时间窗口内的第一声音信号；

S2、采用预设的图像采集设备对所述说话人的嘴唇进行图像采集处理，从而得到所述第一时间窗口内的第二图像信号；

S3、向预设的口腔内传感器集群发送信号获取要求；其中，所述口腔内传感器集群预设于口腔内参照物上，所述口腔内参照物位于所述说话人的口腔内；

S4、获取所述口腔内传感器集群发送的第三传感信号集；其中，所述第三传感信号集由第一传感信号子集、第二传感信号子集和第三传感信号子集构成；所述第二传感信号子集的时间窗口等于所述第一时间窗口，所述第一传感信号子集的时间窗口长度小于所述第一时间窗口的窗口长度，所述第一传感信号子集的时间窗口的末端等于所述第一时间窗口的开端；所述第三传感信号子集的时间窗口长度小于所述第一时间窗口的窗口长度，所述第三传感信号子集的时间窗口的开端等于所述第一时间窗口的末端；

S5、将所述第一声音信号、所述第二传感信号子集和所述第三传感信号子集共同输入预设的第一语义识别模型中进行处理，从而得到所述第一语义识别模型输出的第一识别文本；其中，所述第一语义识别模型基于预设的神经网络模型并采用第一训练集训练而成，所述第一训练集中的每个数据均由第一训练用语音、第二训练用传感信号子集、第三训练用传感信号子集和对应的人工标注的语义文本构成；

S6、将所述第二图像信号、所述第一传感信号子集和所述第二传感信号子集共同输入预设的第二语义识别模型中进行处理，从而得到所述第二语义识别模型输出的第二识别文本；其中，所述第二语义识别模型基于预设的神经网络模型并采用第二训练集训练而成，所述第二训练集中的每个数据均由第二训练用图像信号、第一训练用传感信号子集、所述第二训练用传感信号子集和对应的人工标注的语义文本构成；其中，所述第一训练用传感信号子集、所述第二训练用传感信号子集和所述第三训练用传感信号子集在时间上依次连续；

S7、根据预设的相似度计算方法，计算所述第一识别文本和所述第二识别文本之间的文本相似度值，并判断所述文本相似度值是否大于预设的文本相似阈值；

S8、若所述文本相似度值大于预设的文本相似阈值，则将所述第一识别文本作为智能语音识别结果。

进一步地，所述口腔内参照物的外形为圆球状，所述口腔内传感器集群为压力传感器集群，所述口腔内传感器集群用于在所述说话人说话时感测所述口腔内参照物的表面受到的压力信号。