[发明专利]视频检测方法、装置、终端设备及存储介质

说明书

本申请公开了一种视频检测方法、装置、终端设备及存储介质。该方法包括：获取待检测视频中的音频数据以及视频图像数据；提取音频数据对应的音频特征，并提取视频图像数据对应的图像特征；获取音频数据对应的原始音频特征以及视频图像数据对应的原始图像特征，原始音频特征和原始图像特征为待检测视频在发送至终端设备之前被预先提取的音频特征和图像特征；分别将音频特征与原始音频特征进行比对，将图像特征与原始图像特征进行比对；根据音频特征对应的第一比对结果以及图像特征对应的第二比对结果，确定待检测视频中音频数据与视频图像数据的同步结果，同步结果包括音频数据与视频图像数据同步或不同步。本申请可实现视频的音画同步检测。

技术领域

本申请实施例涉及人机交互技术领域，更具体地，涉及一种视频检测方法、装置、终端设备及存储介质。

背景技术

随着互联网技术的高速发展，在线视频观看的应用也越来越广泛。当前视频的音频数据与视频数据通常是分开编码进行传输，然后解码并恢复播放的，在这个过程中会由于各种原因造成音画不同步。比如解码器不同，网络延迟、丢包，播放客户端性能问题。

目前通常是通过匹配音画时间戳的方法来检测视频的音画是否同步，但该方式过于依赖时间戳标定与传递的稳定。

发明内容

鉴于上述问题，本申请实施例提供一种视频检测方法、装置、终端设备及存储介质，可以通过音视频特征来检测音画是否同步。

第一方面，本申请实施例提供了一种视频检测方法，应用于终端设备，该方法可包括：获取待检测视频中的音频数据以及视频图像数据；提取所述音频数据对应的音频特征，并提取所述视频图像数据对应的图像特征；获取所述音频数据对应的原始音频特征以及所述视频图像数据对应的原始图像特征，所述原始音频特征为所述待检测视频在发送至所述终端设备之前被预先提取的音频特征，所述原始图像特征为所述待检测视频在发送至所述终端设备之前被预先提取的图像特征；分别将所述音频特征与所述原始音频特征进行比对，将所述图像特征与所述原始图像特征进行比对，得到所述音频特征对应的第一比对结果，以及所述图像特征对应的第二比对结果；根据所述第一比对结果与所述第二比对结果，确定所述待检测视频中所述音频数据与所述视频图像数据的同步结果，所述同步结果包括所述音频数据与所述视频图像数据同步或不同步。

可选地，在所述确定所述待检测视频中所述音频数据与所述视频图像数据的同步结果之后，该方法还包括：当检测到所述同步结果为不同步时，获取所述待检测视频对应的丢失时长，其中，所述丢失时长包括所述音频帧集合中与所述原始音频特征不匹配的音频帧所对应的时长、以及所述视频图像帧集合中与所述原始图像特征不匹配的图像帧所对应的时长；基于所述丢失时长，将所述待检测视频中的所述音频数据与所述视频图像数据进行同步。

可选地，所述基于所述丢失时长，将所述待检测视频中的所述音频数据与所述视频图像数据进行同步，可包括：当所述丢失时长满足误差允许条件时，确定所述丢失时长对应的丢失帧，所述丢失帧包括音频帧以及视频图像帧中的至少一种；确定所述待检测视频中与所述丢失帧的时间节点对应的未丢失帧，其中，所述丢失帧为音频帧时，未丢失帧为视频图像帧，所述丢失帧为视频图像帧时，未丢失帧为音频帧；从所述待检测视频中删除所述未丢失帧，其中，删除后的待检测视频中所述音频数据与所述视频图像数据同步。

可选地，所述方法还可包括：当所述丢失时长不满足误差允许条件时，通过机器学习模型将所述丢失帧补充至所述待检测视频中。

可选地，所述丢失帧为音频帧时，所述通过机器学习模型将所述丢失帧补充至所述待检测视频中，可包括：根据所述音频数据对应的文本内容，获取第一机器学习模型输出的修正帧，所述修正帧为新获取的所述音频帧，所述第一机器学习模型被预先训练，以根据文本内容而输出所述文本内容对应的音频帧；基于所述修正帧以及所述待检测视频，生成修正视频，所述修正视频为补充所述修正帧后的所述待检测视频。