[发明专利]一种视频卡顿识别方法、装置及终端设备

权利要求书

1.一种视频卡顿识别方法，其特征在于，包括：

当实时通话过程中的视频对应的监控状态为第一状态时，对所述视频进行人脸检测，并在检测到所述视频中存在人脸时，将所述视频对应的监控状态修改为第二状态；

若所述监控状态为第二状态，以第一频率对所述视频进行采样得到N张第一帧图像，并对N张所述第一帧图像进行比对，其中，N为大于1的正整数；

若比对结果为N张所述第一帧图像之间的图像差异度小于第一差异阈值，将各张所述第一帧图像对应的采样时刻中最早的采样时刻，作为所述视频的卡顿起始时刻，并将所述监控状态设置为第三状态；

若所述监控状态为第三状态，以第二频率对所述视频进行采样得到M张第二帧图像，并对M张所述第二帧图像进行比对，其中，M为大于1的正整数；

若比对结果为M张所述第二帧图像之间的图像差异度大于或等于所述第一差异阈值，将各张所述第二帧图像对应的采样时刻中最晚的采样时刻，作为所述视频的卡顿终止时刻，将所述监控状态设置为第一状态，并基于所述卡顿起始时刻和所述卡顿终止时刻识别所述视频的卡顿时间段。

2.如权利要求1所述的视频卡顿识别方法，其特征在于，所述对N张所述第一帧图像进行比对，包括：

针对每张所述第一帧图像进行人脸器官坐标分析，得到N个第一人脸器官坐标集；

利用N个所述第一人脸器官坐标集对N个所述第一帧图像进行比对。

3.如权利要求2所述的视频卡顿识别方法，其特征在于，所述第一人脸器官坐标集为多个坐标组的集合，每个坐标组对应一种人脸器官，且每个坐标组中包含对应的人脸器官的多个坐标；

所述针对每张所述第一帧图像进行人脸器官坐标分析，包括：

将待分析的所述第一帧图像作为目标图像，对所述目标图像进行人脸轮廓绘制，得到对应的人脸轮廓图形；

获取各个人脸器官在所述人脸轮廓图形中的第一相对位置；

利用所述第一相对位置对所述目标图像进行人脸器官的定位，得到各个人脸器官在所述目标图像中的器官中心坐标，并基于多个所述器官中心坐标，识别出各个人脸器官在所述目标图像中分别对应的第一图像区域；

对各个所述第一图像区域分别进行坐标提取，得到各个人脸器官在所述目标图像中分别对应的所述坐标组。

4.如权利要求3所述的视频卡顿识别方法，其特征在于，获取各个人脸器官在所述人脸轮廓图形中的第一相对位置，包括：

将所述人脸轮廓图形与人脸轮廓库中的多个样本轮廓图像进行图形匹配；

若匹配成功，获取匹配成功的所述样本轮廓图形对应的相对位置集，所述相对位置集中包含各个人脸器官在所述样本轮廓图形中的第二相对位置；将所述相对位置集中的各个人脸器官对应的第二相对位置，作为各个人脸器官在所述人脸轮廓图形中的第一相对位置。

5.如权利要求3所述的视频卡顿识别方法，其特征在于，所述基于多个所述器官中心坐标，识别出各个人脸器官在所述目标图像中分别对应的第一图像区域：

获取各个人脸器官对应的检索矩形尺寸，并根据所述检索矩形尺寸和所述器官中心坐标，识别各个人脸器官在所述目标图像中分别对应的第二图像区域，所述第二图像区域的形状为矩形；

对各个所述第二图像区域分别进行人脸器官检测，并根据检测结果从所述第二图像区域中识别出人脸器官对应的所述第一图像区域。

6.如权利要求3所述的视频卡顿识别方法，其特征在于，所述对各个所述第一图像区域分别进行坐标提取，得到各个人脸器官在所述目标图像中分别对应的所述坐标组，包括：

获取各个人脸器官分别对应的采样点数量，其中，嘴部、眼部、眉部和鼻子对应的所述采样点数量依次减小；

对各个所述人脸器官对应的所述第一图像区域进行特征点采样，并获取各个特征点的坐标，得到各个人脸器官在所述目标图像中分别对应的所述坐标组，所述特征点采样的采样点数量为所述人脸器官各自对应的所述采样点数量。