[发明专利]基于3D重建技术的视频编辑方法和装置以及设备

说明书

本发明公开了基于3D重建技术的视频编辑方法，所述方法包括：获取待编辑视频；检测所述待编辑视频每一帧中可识别的对象；利用神经网络重建与每一所述对象对应的第一3D模型；选择所述待编辑视频中的所述对象的当前帧，对所选择的所述对象进行编辑，并将所编辑的内容修改所述第一3D模型，生成第二3D模型；基于所述第二3D模型对所述对象所在的每一帧图像进行实时姿态估计，并根据所述姿态估计驱动所述第二3D模型生成替换图像，将所述替换图像渲染至所述待编辑视频的同一所述对象的所有帧上。本发明提出的方案能够实现在视频中单帧编辑物体后，自动应用到整个视频帧上的相同物体，从而提高了用户编辑视频的效率以及提高了体验效果。

技术领域

本发明涉及视频处理技术领域，尤其涉及基于3D重建技术的视频编辑方法和装置以及设备。

背景技术

随着5G和短视频应用的发展，用户逐步开始从编辑图片转向编辑视频。现阶段的视频编辑软件更多在于视频整体时间线编辑，如删除无用片段、增加音乐等。若用户想编辑视频中的某一物体，如在视频中改变家具颜色或修改人物衣服图案等，则需逐帧进行修改，一段5分钟视频就要编辑7200帧图像，工作量极大；没有办法对某一物体进行编辑后同步给后续的视频帧，从而导致用户编辑视频的体验效果不好。

发明内容

有鉴于此，本发明的目的在于提出一种基于3D重建技术的视频编辑方法和装置以及设备，能够实现在视频中单帧编辑物体后，自动应用到整个视频帧上的相同物体，从而提高了用户编辑视频的效率以及提高了体验效果。

为实现上述目的，本发明提供一种基于3D重建技术的视频编辑方法，所述方法包括：

获取待编辑视频；

检测所述待编辑视频每一帧中可识别的对象；

利用神经网络重建与每一所述对象对应的第一3D模型；

选择所述待编辑视频中的所述对象的当前帧，对所选择的所述对象进行编辑，并将所编辑的内容修改所述第一3D模型，生成第二3D模型；

基于所述第二3D模型对所述对象所在的每一帧图像进行实时姿态估计，并根据所述姿态估计驱动所述第二3D模型生成替换图像，将所述替换图像渲染至所述待编辑视频的同一所述对象的所有帧上。

优选的，所述检测所述待编辑视频每一帧中可识别的对象，包括：

利用通用物体检测技术检测所述待编辑视频每一帧中可识别的对象。

优选的，所述利用神经网络重建与每一所述对象对应的第一3D模型，包括：

通过自编码器根据每一所述对象的体素组成重建所述对象对应的所述第一3D模型。

优选的，基于所述第二3D模型对所述对象所在的每一帧图像进行实时姿态估计，并根据所述姿态估计驱动所述第二3D模型生成替换图像，将所述替换图像渲染至所述待编辑视频的同一所述对象的所有帧上，所述基于所述3D模型对所述对象进行实时姿态估计，并驱动所述3D模型将所编辑的内容渲染至所述待编辑视频的同一所述对象的所有帧上，包括：

根据所述对象所在的每一帧图像的坐标，裁出所述对象，并输入至所述第二3D模型中；

输出所述对象所在的每一帧图像的坐标和所述对象的三维姿态参数；

根据所述坐标和所述三维姿态参数驱动所述第二3D模型旋转平移至对应的所在的每一帧图像中出现所述对象的位置，将所编辑的内容投影至同一所述对象的所有帧上，替换所有帧中的像素点，实现渲染。

为了实现上述目的，本发明还提出一种基于3D重建技术的视频编辑装置，所述装置包括：

获取单元，用于获取待编辑视频；

检测单元，用于检测所述待编辑视频每一帧中可识别的对象；