[发明专利]运动视频流的补偿方法、装置、智能终端及存储介质

说明书

本发明公开了一种运动视频流的补偿方法、装置、智能终端及存储介质，其中，上述方法包括：获取运动视频流和所述运动视频流拍摄时采集的空间数据；基于所述运动视频流，确定所述运动视频流的丢失帧和参考帧；基于所述空间数据和所述参考帧，获得补偿帧；基于所述补偿帧，重建所述丢失帧。与现有技术相比，本发明方案通过基于运动视频流和空间数据的很强时空一致性，利用空间数据对运动视频流的丢失帧的重建，既可以保证重建丢失帧的准确性，又能获得更高的视觉流畅度。

技术领域

本发明涉及视频处理技术领域，尤其涉及的是一种运动视频流的补偿方法、装置、智能终端及存储介质。

背景技术

在视频流传输中，当网络状态变差的时候，视频数据总会丢包。目前策略是FEC(前向纠错码，Forward Error Correction，简称FEC)或者重传，但无论哪一种方式都让网络压力变大而更为拥塞。从另外一个角度看，视频内容由于具备很强的时空一致性，尤其是固定在运动物体上捕捉的视频，因此，为了减少网络的压力，可以主动丢包，接收后再进行补偿。

因此，需要寻求一种利用未丢失的帧来对这些丢失帧进行重建的方法。

发明内容

本发明的主要目的在于提供一种运动视频流的补偿方法、装置、智能终端及存储介质，利用运动视频流的时空一致性对丢失帧进行重建，从而大幅降低网络压力、获得更高的视频流畅度。

为了实现上述目的，本发明提供了一种运动视频流的补偿方法，其中，上述方法包括：

获取运动视频流和所述运动视频流拍摄时采集的空间数据；

基于所述运动视频流，确定所述运动视频流的丢失帧和参考帧；

基于所述空间数据和所述参考帧，获得补偿帧；

基于所述补偿帧，重建所述丢失帧。

可选的，所述空间数据包括通过加速计采集的加速度数据和通过陀螺仪采集的角度数据。

可选的，所述基于所述空间数据和所述参考帧，获得补偿帧，包括：

基于所述参考帧的每个像素的屏幕坐标和所述参考帧的深度信息，获得所述参考帧的每个像素的三维坐标；

基于所述空间数据对所述三维坐标进行位置时空补偿变换；

将位置时空补偿变换后的所述三维坐标转换为屏幕坐标，获得所述补偿帧。

可选的，所述基于所述空间数据对所述三维坐标进行位置时空补偿变换，包括：

基于所述三维坐标，获得齐次坐标向量；

基于所述空间数据对所述齐次坐标向量进行位置时空补偿变换。

可选的，所述将位置时空补偿变换后的所述三维坐标转换为屏幕坐标，包括：

将所述三维坐标展平到图像平面并离散到像素网格，获得所述屏幕坐标。

可选的，所述基于所述参考帧的每个像素的屏幕坐标和所述参考帧的深度信息，获得所述参考帧的每个像素的三维坐标，包括：

将所述参考帧的每个像素的屏幕坐标转换为二维坐标；

基于所述深度信息和所述参考帧的二维坐标，获得所述参考帧的三维坐标。

可选的，基于所述运动视频流的所有丢失帧获得所述补偿帧，并重建所述丢失帧，获得补偿后的运动视频流。

为了实现上述目的，本发明第二方面提供了一种运动视频流的补偿装置，包括：

获取模块，用于获取运动视频流和所述运动视频流拍摄时采集的空间数据；