[发明专利]会议纪要生成方法、装置、计算机设备及存储介质

权利要求书

1.一种会议纪要生成方法，其特征在于，所述方法包括：

调用语音采集设备采集会议过程中的多个语音发出者对应的全程语音，调用图像采集设备采集会议过程中的多个语音发出者对应的全程图像；

从所述全程语音中提取单通道语音，从所述单通道语音中分别提取多个语音分段数据流，其中，每个语音分段数据流均属于一个语音发出者；

针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流对应的图像分段数据流，其中，每个语音分段数据流与对应的图像分段数据流均属于同一语音发出者；

将每个语音分段数据流以及对应的图像分段数据流输入语音发出者检测模型，提取多个对应的语音发出者身份信息以及位置信息，所述位置信息包括蒙版mask，所述蒙版为每帧中不同位置的图像与当前时刻的语音的对应程度，所述蒙版利用听觉通道和视觉通道的一致性，计算图像特征中每一帧中的每一个像素点与对应时刻的语音特征的相似性得到；

将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字；

依次记录每个语音转录文字以及对应的语音发出者身份信息，生成会议纪要。

2.根据权利要求1所述的方法，其特征在于，所述从所述全程语音中提取单通道语音，包括：

将所述全程语音经过A/D转换，且按照预设的提取率进行提取，以得到单通道语音。

3.根据权利要求1所述的方法，其特征在于，所述从所述单通道语音中分别提取多个语音分段数据流，包括：

对所述单通道语音进行断句切分，以提取多个语音分段数据流。

4.根据权利要求1所述的方法，其特征在于，所述针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流对应的图像分段数据流，包括：

针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流位于同一时间段的对应图像分段数据流。

5.根据权利要求1所述的方法，其特征在于，所述将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字，包括：

将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音增强去噪模型，得到多个去噪后的语音；

将每个语音分段数据流以及对应的去噪后的语音输入语音识别模型，提取多个对应的语音转录文字。

6.一种会议纪要生成装置，其特征在于，所述装置包括：

采集模块，用于调用语音采集设备采集会议过程中的多个语音发出者对应的全程语音，调用图像采集设备采集会议过程中的多个语音发出者对应的全程图像；

语音提取模块，用于从所述全程语音中提取单通道语音；

数据流提取模块，用于从所述单通道语音中分别提取多个语音分段数据流，其中，每个语音分段数据流均属于一个语音发出者；

数据流截取模块，用于针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流对应的图像分段数据流，其中，每个语音分段数据流与对应的图像分段数据流均属于同一语音发出者；

信息提取模块，用于将每个语音分段数据流以及对应的图像分段数据流输入语音发出者检测模型，提取多个对应的语音发出者身份信息以及位置信息，所述位置信息包括蒙版mask，所述蒙版为每帧中不同位置的图像与当前时刻的语音的对应程度，所述蒙版利用听觉通道和视觉通道的一致性，计算图像特征中每一帧中的每一个像素点与对应时刻的语音特征的相似性得到；

文字提取模块，用于将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字；

纪要生成模块，用于依次记录每个语音转录文字以及对应的语音发出者身份信息，生成会议纪要。

7.根据权利要求6所述的装置，其特征在于，所述语音提取模块具体用于：

将所述全程语音经过A/D转换，且按照预设的提取率进行提取，以得到单通道语音。