[发明专利]视频会议自动补音的方法、系统、存储介质及电子设备

说明书

本发明公开了一种视频会议自动补音的方法、系统、存储介质及电子设备，其中视频会议自动补音的方法包括：发送端麦克风拾音形成音频流数据包；发送端开启语音识别功能，将音频流数据包转为文字信息包；接收端同时接收音频流数据包及文字信息包；接收端对音频流数据包进行检测，判断音频流数据包是否丢包；当发生丢包时，接收端将已接收的音频流数据包的时间戳与已接收的文字信息包的时间戳进行比对，找到音频流数据包丢包区域相对应的文字信息包；接收端开启语音合成功能，将与丢包区域相对应的文字信息包生成音频数据。借此，本发明的视频会议自动补音的方法、系统、存储介质及电子设备，可以对丢失音频智能还原，且自动补全。

技术领域

本发明是关于视频多媒体通信技术领域，特别是关于一种视频会议自动 补音的方法、系统、存储介质及电子设备。

背景技术

视频会议、指挥调度过程中，目前基于网络变化导致音频丢失情况，主 要采用音频前向纠错，加到音频冗余等算法，保障在一定网络损伤的情况下 保障音频质量。

以上方案号称支持网络丢包率30％的情况下音频能够保持流畅。但是存 在对带宽要求高，而往往丢包率高的环境，带宽普遍偏低无法满足音频流畅 的需求。

现有技术方案主要侧重点在于尽可能的通过智能算法自动补充部分音频 数据或者发送更多的音频数据，确保即使丢失部分也不影响整体效果。智能 算法自动补充只能解决丢失一两个数据包的情况，而发送更多冗余包的做法 会增加网络带宽，对带宽要求高。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解， 而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员 所公知的现有技术。

发明内容

本发明的目的在于提供一种视频会议自动补音的方法、系统、存储介质 及电子设备，其能够对丢失音频智能还原，且自动补全。

为实现上述目的，本发明一方面提供了一种视频会议自动补音的方法、 系统、存储介质及电子设备，其中视频会议自动补音的方法包括：发送端麦 克风拾音形成音频流数据包；发送端开启语音识别功能，将音频流数据包转 为文字信息包；接收端同时接收音频流数据包及文字信息包；接收端对音频 流数据包进行检测，判断音频流数据包是否丢包；当发生丢包时，接收端将 已接收的音频流数据包的时间戳与已接收的文字信息包的时间戳进行比对， 找到音频流数据包丢包区域相对应的文字信息包；接收端开启语音合成功能， 将与丢包区域相对应的文字信息包生成音频数据；将音频数据补充至丢包的 音频流数据包相对应的时间戳中。

在本发明的一实施方式中，接收端对所述音频流数据包进行检测，判断 所述音频流数据包是否丢包包括：预设时间内未收到音频流数据包，则判断 音频流数据包发生预设丢包；预设时间内接收到音频流数据包，当音频流数 据包的丢包数量超过丢包预设值时，则判断音频流数据包发生预设丢包。

在本发明的一实施方式中，音频流数据包的丢包预设值为三个。

在本发明的一实施方式中，生成音频数据的时间范围小于丢包起始时间， 大于丢包结束时间。

在本发明的一实施方式中，将音频数据补充至丢包的音频流数据包相对 应的时间戳中包括：截取生成音频数据中与丢包的音频流数据包相对应的音 频数据，补充至丢包的音频流数据包相对应的时间戳中。