[发明专利]一种语音识别方法、装置、系统、服务器及存储介质

说明书

本发明实施例提供了一种语音识别方法、装置、系统、服务器及存储介质，所述方法包括：获取会议中多个发言者的发言图像、语音信号以及每个发言者的声纹信息，其中，语音信号包括多个发言者同时发言所产生的语音信号，对发言图像进行识别，确定每个发言者的方位信息以及唇动信息，针对每个发言者，将该发言者的唇动信息、声纹信息、方位信息以及语音信号输入预先训练完成的语音识别模型，得到该发言者对应的文本信息，其中，语音识别模型为基于多用户语音样本训练得到的，多用户语音样本包括每个用户的唇动信息、声纹信息、方位信息以及多用户同时发言所产生的语音信号。由于不需要将语音信号分离，保证了语音信号的完整，提高了语音识别的准确度。

技术领域

本发明涉及语音识别技术领域，特别是涉及一种语音识别方法、装置、系统、服务器及存储介质。

背景技术

目前，视频会议已经成为人们工作生活中一种常见的沟通交流方式。为了对会议内容进行记录等处理，需要对会议中每个人的发言进行收集并识别得到对应的文本信息。但是，会议中难免出现多个用户同时发言的情况，针对这种情况，则需要识别出同时发言的每个人所说的内容。

在目前的语音识别方式中，在获取多个用户同时发言所产生的语音信号后，将多个用户同时发言所产生的语音信号进行语音分离，得到每个用户对应的语音信息，进而对每个用户对应的语音信息分别进行语音识别，得到每个用户所说的内容。

由于在对语音信号进行语音分离的过程中，会对语音信号的频谱造成损伤，因此语音识别的准确度较低。

发明内容

本发明实施例的目的在于提供一种语音识别方法、装置、系统、服务器及存储介质，以实现提高语音识别的准确度，具体技术方案如下：

第一方面，本发明实施例提供了一种语音识别方法，所述方法包括：

获取会议中多个发言者的发言图像、语音信号以及每个发言者的声纹信息，其中，所述语音信号包括所述多个发言者同时发言所产生的语音信号；

对所述发言图像进行识别，确定每个发言者的方位信息以及唇动信息；

针对每个发言者，将该发言者的唇动信息、声纹信息、方位信息以及所述语音信号输入预先训练完成的语音识别模型，得到该发言者对应的文本信息，其中，所述语音识别模型为基于多用户语音样本训练得到的，所述多用户语音样本包括每个用户的唇动信息、声纹信息、方位信息以及多用户同时发言所产生的语音信号。

可选的，所述语音信号为麦克风阵列所采集的语音信号，所述麦克风阵列包括多个阵元；

所述将该发言者的唇动信息、声纹信息、方位信息以及所述语音信号输入预先训练完成的语音识别模型，得到该发言者对应的文本信息的步骤，包括：

将该发言者的唇动信息、声纹信息、方位信息以及所述语音信号输入预先训练完成的语音识别模型，以使所述语音识别模型基于所述方位信息、所述声纹信息以及所述多个阵元之间的相位特性，从所述语音信号中提取该发言者对应的语音特征，并将所述语音特征结合所述唇动信息进行语音识别，得到该发言者对应的文本信息。

可选的，所述语音识别模型包括：残差层、第一拼接层、卷积层、第二拼接层以及识别层；

所述语音识别模型基于所述方位信息、所述声纹信息以及所述多个阵元之间的相位特性，从所述语音信号中提取该发言者对应的语音特征，并将所述语音特征结合所述唇动信息进行语音识别，得到该发言者对应的文本信息的步骤，包括：

所述残差层对所述唇动信息进行特征提取，得到唇部特征，并输入所述第二拼接层；

所述第一拼接层将所述语音信号、所述方位信息以及所述声纹信息进行拼接，并将拼接后的结果输入至所述卷积层；