[发明专利]视频插帧方法及装置

说明书

本申请实施例公开了一种视频插帧方法及装置。其中主要方法包括：获取待处理的第一帧率视频帧序列；对所述第一帧率视频帧序列中的各视频帧分别进行字幕去除，得到去除字幕后的视频帧序列；以及对所述第一帧率视频帧序列中的各视频帧分别进行字幕抠取，得到各视频帧的字幕区域；对所述去除字幕后的视频帧序列进行插帧处理；将所述字幕区域对应增加至所述插帧处理后得到的视频帧序列中的各视频帧上，且使得相同字幕区域在不同视频帧中的空间位置一致，得到第二帧率视频帧序列；其中，所述第二帧率大于所述第一帧率。本申请能够解决视频插帧后导致的字幕抖动现象。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种视频插帧方法及装置。

背景技术

随着硬件和软件的快速发展，网络上视频资源呈现爆发式的增长，视频已日渐成为生活中信息的主要载体之一。视频插帧技术通过对视频的帧率进行提升，可以带来更流畅的观看体验，是目前超高清视频的核心技术之一。

例如，目前主流电影帧率仅为24帧，无法匹配主流60Hz刷新率的电视屏幕，会造成一些高速移动场景出现不连贯、模糊等现象，影响观看体验。视频插帧技术可以根据两个相邻帧的关系，估算物体运动，插入一张中间帧，提升视频帧率，从而让视频中的画面更加流畅、运动细节展示更加清晰。

然而，传统视频插帧技术中，并未对字幕问题进行优化处理，导致得到的高帧率视频中经常出现字幕抖动现象，严重影响了用户观看视频的体验。

发明内容

有鉴于此，本申请提供了一种视频插帧方法及装置，用以减少视频插帧后导致的字幕抖动现象。

本申请提供了如下方案：

第一方面，提供了一种视频插帧方法，该方法包括：

获取待处理的第一帧率视频帧序列；

对所述第一帧率视频帧序列中的各视频帧分别进行字幕去除，得到去除字幕后的视频帧序列；以及对所述第一帧率视频帧序列中的各视频帧分别进行字幕抠取，得到各视频帧的字幕区域；

对所述去除字幕后的视频帧序列进行插帧处理；

将所述字幕区域对应增加至所述插帧处理后得到的视频帧序列中的各视频帧上，且使得相同字幕区域在不同视频帧中的空间位置一致，得到第二帧率视频帧序列；

其中，所述第二帧率大于所述第一帧率。

根据本申请实施例中一可实现的方式，对所述第一帧率视频帧序列中的各视频帧分别进行字幕去除包括：

将所述第一帧率视频帧序列中的各视频帧分别输入字幕修补模型，获取所述字幕修补模型输出的去除字幕后的各视频帧，其中所述字幕修补模型是基于卷积神经网络的端到端模型；或者，

分别对所述第一帧率视频帧序列中的各视频帧进行字幕区域识别，得到字幕区域和非字幕区域，利用非字幕区域的像素对所述字幕区域的像素进行插值处理，得到去除字幕后的各视频帧。

根据本申请实施例中一可实现的方式，所述字幕修补模型采用如下方式预先训练得到：

获取第一训练数据，所述第一训练数据包括多个帧对，各帧对包括不包含字幕的第一视频帧以及包含字幕的第二视频帧；

将所述第二视频帧作为基于卷积神经网络的端到端模型的输入，将所述第一视频帧作为所述端到端模型的目标输出，训练所述端到端模型以作为字幕修补模型。

根据本申请实施例中一可实现的方式，对所述第一帧率视频帧序列中的各视频帧分别进行字幕抠取得到各视频帧的字幕区域包括以下方式：

第一种方式：对比所述第一帧率视频帧序列中去除字幕前后的各视频帧，得到各视频帧的字幕区域；或者，