[发明专利]结合音视频的多人会议实时展示的方法、介质和电子设备

说明书

本申请提供一种结合音视频的多人会议实时展示的方法、介质和电子设备，该方法包括：获取参会人员中发言人的音频数据；对音频数据进行语音识别处理，得到发言人的文本信息；将文本信息同步且实时展示在包含发言人的会议视频中发言人对应的区域，每个发言人的文本信息和每个发言人在会议视频中的位置一一对应。本申请实现了同步且实时地结合发言人文本信息和会议视频，同时将文本信息展示在会议视频中发言人对应区域，使得发言人的说话内容易于区分。因为视频和文字可同步记录，使得记录的形式多样、清晰，方便后续阅读和理解。

技术领域

本发明涉及信息处理技术领域，特别涉及结合音视频的多人会议实时展示的方法、介质和电子设备。

背景技术

随着互联网技术的深度应用，各类终端设备的普及程度越来越高，目前已有不少语音产品能够支持对会议发言进行实时转写，并将转写内容展示在屏幕上，方便其他参会者阅读。但现有的会议转写系统也存在一些缺陷：在多人同时发言的情况下，往往难以区分多个发言者身份及其对应的发言内容，会议记录的内容较混乱，会议记录内容质量较低，并且通常是基于参会者手动进行记录，非常容易遗漏或者记录错误，效率低；另外仅仅使用文字进行展示/记录会议内容，展示/记录形式上比较单一，无法充分利用会议记录内容。

发明内容

本发明提供一种结合音视频的多人会议实时展示的方法，该方法包括：

获取参会人员中发言人的音频数据；对音频数据进行语音识别处理，得到发言人的文本信息；将文本信息同步且实时展示在包含发言人的会议视频中发言人对应的区域，每个发言人的文本信息和每个发言人在会议视频中的位置一一对应。

根据本申请的实施方式，在会议中，将发言人的说话的文本信息展示在会议视频中发言人对应的区域，实现了发言内容和发言人的实时对应，提高了参会人员会议沟通时的智能化体验。

在一些实施例中，将文本信息同步且实时展示在包含发言人的会议视频中发言人对应的区域，包括：分析音频数据，确定发言人的声音特征信息；将发言人的声音特征信息与数据库中参会人员的认证信息进行匹配，得到发言人的脸部特征信息，其中认证信息包括声音特征信息和脸部特征信息；利用发言人的脸部特征信息，获取会议视频；将文本信息同步且实时展示在会议视频中发言人对应的区域。

根据本申请的实施方式，利用声音特征信息和脸部特征信息区分发言人的功能，实现了音频数据和视频中发言人对应关系的确认，从而可实现将发言人的文本信息结合在会议视频中对应发言人的位置。

在一些实施例中，还包括：根据发言人的音频数据判断是否有多人在说话；当判断出发言人数量为多个时，则先对音频数据进行说话人分离，再进行对音频数据进行语音识别处理和分析音频数据；当判断出发言人数量为一个时，则直接进行对音频数据进行语音识别处理和分析音频数据。

根据本申请的实施方式，在一些混合多位发言人的音频数据中，基于音频数据判断出是否有多人在说话，并通过增加说话人分离的方法来确定时间、文本信息和发言人的对应关系，进而实现了将发言人的文本信息结合在会议视频中对应发言人的位置。

在一些实施例中，还包括：根据会议视频判断是否有多人在说话；当判断出发言人数量为多个时，则先对音频数据进行说话人分离，再进行对音频数据进行语音识别处理和分析音频数据；当判断出发言人数量为一个时，则直接进行对音频数据进行语音识别处理和分析音频数据。

根据本申请的实施方式，在一些混合多位发言人的音频数据中，基于会议视频判断出是否有多人在说话，并通过增加说话人分离的方法来确定时间、文本信息和发言人的对应关系，进而实现了将发言人的文本信息结合在会议视频中对应发言人的位置。