[发明专利]视频剪辑方法及其装置

说明书

本发明公开了视频剪辑方法及其装置，第一图像帧和虚拟对象构成第一视频数据；利用mediacodec技术对第一视频数据进行解码得到视频解码数据，将视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频；利用OpenGL技术对具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧；利用mediacodec技术将多个具有虚拟对象的第三图像帧进行重新编码生成目标视频。通过增强现实技术用户即可观看到基于真实环境叠加有虚拟对象的视频画面，以使虚拟对象更好地融合在真实环境中；基于多模态信息和相似度匹配相结合的方式，使其得到的关键视频更为精确。

技术领域

本发明涉及视频处理技术领域，更具体地，涉及一种视频剪辑方法及其装置。

背景技术

视频剪辑技术是一种对视频进行裁剪得到该视频的其中一个或多个片段的技术，该技术应用于终端中安装的各应用程序中，如短视频应用程序、直播应用程序、游戏社区应用程序、社交应用程序等，示意性的，以社交应用程序为例进行说明，对总时长60秒的社交录制视频A进行剪辑，得到该社交录制视频A中第10秒至第19秒以及30秒至39秒之间的视频片段作为社交精彩瞬间，但在现有技术中，通常用户在图像帧上直接加载贴图，虽然图像帧与贴图位于同一个画面，但无法使虚拟对象更好地融合在真实环境中，使得人眼的视觉效果较差；此外，通过人工方式进行视频分割，费时费力，而采用非人工的一些视频分割，则无法正确理解图像帧的信息，导致对视频画面解读的准确性也明显降低，最终影响目标视频所呈现的视频画质效果，同时不便于个性化定制，即无法保证提取的关键视频中每一帧都过滤镜，进而无法保证每一帧画面均具有完整滤镜。

现有技术中，专利文献(CN106534971)公开了一种音视频剪辑方法及装置，该方案公开了在确定了待进行滤镜处理的GOP组后，只需对该音视频片段中的该GOP组进行相应的解码、滤镜处理以及编码，实现对音视频片段相应的部分进行二次编码以及滤镜处理的过程，但是该方案仅对该音视频片段中涉及的淡入的时长或者淡出的时长增加滤镜，即前音视频片段解码后的最后几帧做淡出滤镜，以及后音视频片段解码后的最后几帧做淡入滤镜，并非对音视频片段中每一帧进行渲染。

发明内容

有鉴于此，本发明提供了一种视频剪辑方法和装置。

第一方面，本申请提供一种视频剪辑方法，包括以下步骤：

采集源视频数据，所述源视频数据包括至少一个第一图像帧；

基于AR场景对第一图像帧进行渲染得到虚拟对象，所述第一图像帧和所述虚拟对象构成第一视频数据，其中，所述虚拟对象与所述第一图像帧中预设特征标记相匹配；

利用mediacodec技术对所述第一视频数据进行解码得到视频解码数据，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频，其中，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频包括：

将视频解码数据中至少一个具有所述虚拟对象的所述第一图像帧进行细节分割，得到多个具有虚拟对象的第二图像帧；

根据与所述多个具有虚拟对象的第二图像帧中相关的多模态信息，对所述多个具有虚拟对象的第二图像帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息，其中，多模态信息包括文本信息、音频信息、动作信息、色调信息和物体信息中的至少一种；

根据特征融合信息，对所述多个具有虚拟对象的第二图像帧进行相似度匹配，根据相似度匹配结果得到具有虚拟对象的关键视频；

利用OpenGL技术对所述具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧；

利用mediacodec技术将所述多个具有虚拟对象的第三图像帧进行重新编码生成目标视频。