[发明专利]一种关键帧提取方法及设备

权利要求书

1.一种关键帧提取方法，其特征在于，包括：

获取待提取关键帧的视频片段；

提取所述视频片段包括的每一个视频帧中的人脸特征；

根据所述视频片段中每一个视频帧的表情识别率、包括的人脸数量和权值，与所述视频片段对应的音频片段包括的至少一个语音段的语音识别率以及所述人脸特征，从所述视频片段中提取关键帧；其中，所述表情识别率用于表征通过人脸识别模型识别出的目标人物的人脸的表情类型的正确率，所述语音识别率用于表征通过语音识别模型识别出的情绪类型的正确率，第i个视频帧的权值ω_i根据公式ω_i＝ω_ni*ω_vi*ω_ei确定，1≤i≤N，N为所述视频片段包括的视频帧的数量；ω_ni＝exp(λ₂y_ni)，ω_ni表征所述第i个视频帧中人脸数量的权值，y_ni表征第i个视频帧中的人脸数量，λ₂为用于调节ω_ni在ω_i中所占的比例的调节参数，ω_vi＝exp(λ₃y_vi)，ω_vi表征第i个视频帧对应的语音段语音识别率的权值，y_vi表征第i个视频帧对应的语音段的语音识别率，λ₃为用于调节ω_vi在ω_i中所占的比例的调节参数，ω_ei＝exp(λ₄y_ei)，ω_ei表征第i个视频帧的表情识别率的权值，y_ei表征第i个视频帧的表情识别率，λ₄为用于调节ω_ei在ω_i中所占的比例的调节参数。

2.如权利要求1所述的方法，其特征在于，根据所述视频片段中每一个视频帧的表情识别率和包括的人脸数量、与所述视频片段对应的音频片段包括的至少一个语音段的语音识别率以及所述人脸特征，从所述视频片段中提取关键帧，包括：

通过模糊聚类算法对所述视频片段包括的视频帧进行聚类，所述模糊聚类算法的聚类公式为：

其中，C为需要提取的关键帧的数量；x_i为第i个视频帧的特征向量；v_k为聚类原型；μ_ik为第i个视频帧在所述聚类公式所划分的C个类中的第k类中的隶属度，1≤k≤C；m为模糊加权参数；λ₁为用于消除时间上的不一致性的调节参数；i-ω≤N_i≤i+ω，i-ω表征第i个视频帧之前的第ω个视频帧，i+ω表征第i个视频帧之后的第ω个视频帧；q的取值范围为集合M_k，M_k＝{1,2,……,C}\{k}，表征q的取值为集合{1,2,……,C}中除去k之外的其他值；

通过所述聚类公式得到所述C个类，以及每一个类对应的聚类原型v_k和所述N个视频帧的隶属度μ_ik；

将所述C个类中每一个类中隶属度μ_ik最高的视频帧确定为所述关键帧。