[发明专利]视频处理方法、装置、设备及存储介质

说明书

本公开实施例公开了视频处理方法、装置、设备及存储介质。应用于直播用户端的方法包括：获取直播视频的目标原始编码数据，根据上行链路网络状况和/或服务端的超分辨率图像处理能力确定待处理的原始非关键帧的目标帧数，对原始关键帧和待处理非关键帧进行下采样，将包含压缩关键帧、压缩非关键帧和未压缩非关键帧的视频帧序列上传至服务端，由服务端对视频帧序列中的压缩关键帧和压缩非关键帧分别进行超分辨率图像处理，并将得到的目标视频帧序列发送至观众用户端。通过采用上述技术方案，可以更加灵活地对视频进行压缩，从而更好的适应网络的多变性，并且进一步减少端到端的传输耗时，可以保证视频质量和降低直播时延。

技术领域

本公开实施例涉及视频处理技术领域，尤其涉及视频处理方法、装置、设备及存储介质。

背景技术

随着网络技术以及终端设备的发展，点播和直播等视频业务已经成为互联网的主流应用。视频流量的激增给网络带宽带来了巨大的压力。与此同时，用户对于QoE(Qualityof Experience，体验质量)的要求也越来越高，包括视频质量、卡顿、码率切换以及直播时延等，这对视频传输提出了很大的挑战。

在视频传输网络中上行链路的带宽相比于下行链路往往极不充足的，比如在4G网络中，上行和下行带宽的差别高达10倍，因此网络中的上行链路成为了直播视频传输的主要瓶颈。并且，直播视频质量很大程度上取决于直播期间上传者的上行网络质量。如果上行带宽不足，观看者的视频质量将会显著的降低并且很有可能造成卡顿。因此，如何在有限上行带宽资源的情况下提高直播视频流传输的质量是目前亟需解决的技术问题。

发明内容

本公开实施例提供了视频处理方法、装置、存储介质及设备，可以优化现有的视频处理方案。

第一方面，本公开实施例提供了一种视频处理方法，应用于直播系统中的直播用户端，所述直播系统中还包括服务端和观众用户端，所述方法包括：

获取直播视频的目标原始编码数据，其中，所述目标原始编码数据中包括目标画面组内的原始关键帧和原始非关键帧集合；

根据所述直播系统的上行链路网络状况和/或所述服务端的超分辨率图像处理能力确定目标帧数；

从所述原始非关键帧集合中确定所述目标帧数的原始非关键帧作为待处理非关键帧，对所述原始关键帧和所述待处理非关键帧分别进行下采样，得到压缩关键帧和压缩非关键帧；

将视频帧序列上传至所述服务端，用于指示所述服务端对所述视频帧序列中的所述压缩关键帧和所述压缩非关键帧分别进行超分辨率图像处理，得到目标关键帧和目标非关键帧，并将目标视频帧序列发送至所述观众用户端，其中，所述视频帧序列中包括所述压缩关键帧、所述压缩非关键帧和所述原始非关键帧集合中除所述待处理非关键帧之外的剩余原始非关键帧，所述目标视频帧序列中包括所述目标关键帧、所述目标非关键帧和所述剩余原始关键帧。

第二方面，本公开实施例提供了视频处理方法，应用于直播系统中的服务端，所述直播系统中还包括直播用户端和观众用户端，所述方法包括：

接收所述直播用户端发送的视频帧序列，其中，所述视频帧序列中包括压缩关键帧、压缩非关键帧和原始非关键帧集合中除待处理非关键帧之外的剩余原始非关键帧；所述直播用户端用于获取直播视频的目标原始编码数据，根据所述直播系统的上行链路网络状况和/或所述服务端的超分辨率图像处理能力确定目标帧数，从所述原始非关键帧集合中确定所述目标帧数的原始非关键帧作为待处理非关键帧，对原始关键帧和所述待处理非关键帧分别进行下采样，得到所述压缩关键帧和所述压缩非关键帧，所述目标原始编码数据中包括目标画面组内的所述原始关键帧和所述原始非关键帧集合；

对所述视频帧序列中的所述压缩关键帧和所述压缩非关键帧分别进行超分辨率图像处理，得到目标关键帧和目标非关键帧；

根据所述目标关键帧、所述目标非关键帧和所述剩余原始非关键帧确定目标视频帧序列；