[发明专利]基于用户质量评价的视频内容补全与裁剪方法及系统

说明书

本发明提供了一种基于用户质量评价的视频内容补全与裁剪方法及系统，包括：网络处理节点将从源端发送来的视频进行初始补全；建立QoE模型数据库；根据用户回传信息，调取对应的QoE模型，将经过初始补全的视频裁剪至用户所需的比例；根据用户回传信息，实时更新QoE模型数据库中对应的QoE模型。本发明支持与播放设备比例不同的视频源更好地呈现，通过对人工智能生成的补全视频进行适当剪裁，对用户建立个性化QoE模型数据库，以达到针对特定用户发送最佳QoE的视频。

技术领域

本发明涉及视频数据处理领域，具体地，涉及基于用户质量评价的视频内容补全与裁剪方法及系统。

背景技术

随着移动互联网时代智能设备的发展，市场上的视频捕获设备与视频播放设备的屏幕尺寸比例各不相同。例如，有很多4:3的老式电视节目内容需要在当前主流的16:9屏幕上播放；很多用智能手机竖屏拍摄的内容需要在横向的屏幕中播放；更高的屏幕宽高比例的诸如“18:9全面屏”智能手机也已经逐步在市场中立足。

现有的网络传输播放手段主要分为放大裁剪、缩小加黑边以及直接拉伸等方法。这些技术手段中，放大裁剪使得画面中部分内容被裁掉，缩小加黑边使得部分本可显示内容的屏幕区域浪费，而拉伸虽然可以充分利用屏幕，也不会裁剪掉画面内容，但是带来了图形的变形。这些技术手段都带来了用户体验质量(QoE)的下降。

近年来随着深度学习(DL)、人工智能(AI)技术的发展，可以实现在网络中间节点上在缩小加黑边的基础上，用人工智能的方法自动生成相应场景的内容，补全在本来是黑边的部分再传给用户客户端，使得不会丢失原有图像内容，也使播放设备屏幕全部利用，同时避免了图像拉伸所带来的形变。然而，人工智能实现的生成边缘以外的信息是利用了图像中本身的内容，待生成的区域距离原始已有内容的区域越远，其生成内用的真实度、效果就越低。如遇到比较极端的情况(如9:18比例竖屏采集的内容需要在18:9的横屏屏幕上播放)时，生成过多的非原始信息反而得不到更好的QoE。因此，在进行人工智能补全内容时，并不能完全按照原始的缩放比例进行补全，仍然需要进行部分的剪裁。如何权衡补全和剪裁之间的关系是需要解决的技术问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于用户质量评价的视频内容补全与裁剪方法及系统。

根据本发明提供的一种基于用户质量评价的视频内容补全与裁剪方法，包括：

初始补全步骤：网络处理节点将从源端发送来的视频进行初始补全；

数据库建立步骤：建立QoE模型数据库；

裁剪步骤：根据用户回传信息，从QoE模型数据库调取对应的QoE模型，将经过初始补全的视频裁剪至用户所需的比例；

模型更新步骤：根据用户回传信息，实时更新QoE模型数据库中对应的QoE模型。

较佳的，所述用户回传信息包括：

第一信息：用户标识信息；

第二信息：用户的屏幕分辨率的描述信息；

第三信息：用户的画面裁剪比例的描述信息；

第四信息：用户的质量评价信息。

较佳的，根据所述第二信息和所述第三信息对经过初始补全的视频进行裁剪，并根据所述第一信息调取对应的QoE模型进行裁剪指导。

较佳的，在所述裁剪步骤中的所述用户回传信息为新用户第一次回传时，调取的QoE模型为通用QoE模型，在收到所述新用户的第一次质量评价信息后更新所述通用QoE模型为所述新用户对应的QoE模型。

较佳的，在所述初始补全步骤中将视频进行人工智能补全到最大的比例尺寸。

根据本发明提供的一种基于用户质量评价的视频内容补全与裁剪系统，包括：