[发明专利]视频关键帧提取方法

权利要求书

1.一种视频关键帧提取方法，该方法适于在计算设备中执行，所述方法包括：

获取训练集，所述训练集包括多个由当前帧图像、上一帧掩膜图像、人工标注的当前帧掩膜图像组成的图像组；

将由当前帧图像和上一帧掩膜图像组成的数组输入预训练的人像分割模型，所述数组为当前帧图像的RGB三通道图像信息和上一帧掩膜图像的单通道掩膜信息连接成的一个四通道数组，所述掩膜信息为上一帧掩膜图像的灰度通道的灰度值信息，所述人像分割模型为端对端模型，其中包括编码模型和解码模型，所述编码模型包括下采样层，所述下采样层包括多个并列连接的池化层和卷积层；

所述编码模型适于从所述数组中提取当前帧图像的特征，所述解码模型适于基于所提取的特征，输出当前帧掩膜图像；

基于所述人工标注的当前帧掩膜图像和输出的当前帧掩膜图像，训练所述人像分割模型，以得到生成的人像分割模型；

将人像视频帧序列输入人像分割模型，以输出对应的人像掩膜图像序列帧；

从所述人像掩膜图像序列帧中过滤掉人像面积小于第一预定阈值的图像；

从过滤后的人像掩膜图像中提取形状特征差异大于第二阈值的图像，以作为关键帧；

所述从所述人像掩膜图像序列帧中过滤掉人像面积小于第一预定阈值的图像的步骤包括：

从预定数量的人像掩膜图像序列帧中统计人像面积均值，以便确定人像掩膜图像的初始过滤阈值；

基于上一帧的过滤阈值、当前帧人像面积，确定当前帧的过滤阈值；以及

过滤掉人像面积低于初始过滤阈值或当前帧的过滤阈值的人像掩膜图像。

2.如权利要求1所述的方法，所述人像分割模型适于从包含人像特征的图像中分割出人像特征，其中，所述掩模图像为人像掩膜图像。

3.如权利要求1所述的方法，其中，所述编码模型还包括卷积处理层，所述卷积处理层包括卷积层、激活层、归一化层，

所述卷积层适于将卷积参数作用于所述编码模型的输入，以得到特征图；

所述激活层适于将特征图进行非线性映射；

所述归一化层适于调整特征图的数据分布；

所述下采样层适于对特征图进行降采样。

4.如权利要求3所述的方法，其中，所述卷积层包括四个膨胀卷积，膨胀系数分别是2、4、6、8。

5.如权利要求1所述的方法，其中，

所述池化层的卷积核的大小为2×2，所述卷积层的卷积核大小为3×3。

6.如权利要求3所述的方法，其中，所述解码模型包括上采样层、卷积处理层和集连层，

所述上采样层适于将输入解码模型的特征图的分辨率放大；

所述集连层适于将不同层的特征图进行合并。

7.如权利要求6所述的方法，其中，所述上采样层包括多个反卷积层，所述反卷积层的卷积核大小为4×4。

8.如权利要求1所述的方法，其中，所述训练人像分割模型的步骤包括：

基于编码模型和解码模型的损失函数，使用反向传播算法调整人像分割模型的参数，以得到训练后的人像分割模型。

9.如权利要求1所述的方法，其中，所述方法包括：

将所述人像视频帧序列的第一帧图像的掩膜图像设置为全黑。

10.如权利要求1所述的方法，其中，所述当前帧的过滤阈值通过下述公式计算：

w＝(y*0.25)*0.1+x*0.9

其中，x为上一帧过滤阈值，y为当前帧人像面积，w为当前帧的过滤阈值。