[发明专利]视频检测方法、装置、电子设备和计算机可读介质在审
申请号: | 201910446514.2 | 申请日: | 2019-05-27 |
公开(公告)号: | CN110309720A | 公开(公告)日: | 2019-10-08 |
发明(设计)人: | 杨洋 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06T7/254 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频检测 候选帧 帧序列 计算机可读介质 差分运算 电子设备 目标帧 预处理 直播视频数据 目标行为 人体对象 相邻帧 检测 申请 | ||
1.一种视频检测方法,其特征在于,所述方法包括:
对直播视频数据进行预处理,生成帧序列;
依次对所述帧序列中的相邻帧进行差分运算,基于差分运算结果,确定所述帧序列中的候选帧,以构成候选帧序列;
基于预先训练的至少一个检测模型,检测所述候选帧序列中的目标帧,其中,所述目标帧中的人体对象的行为类别为目标行为类别。
2.根据权利要求1所述的视频检测方法,其特征在于,所述至少一个检测模型包括行为类别检测模型,所述行为类别检测模型用于检测图像中的人体对象的行为类别是否为所述目标行为类别;以及
所述基于预先训练的至少一个检测模型,检测所述候选帧序列中的目标帧,包括:
将所述候选帧序列中的候选帧输入至所述行为类别检测模型,确定所输入的候选帧中的人体对象的行为类别是否为所述目标行为类别;
将属于所述目标行为类别的候选帧确定为目标帧。
3.根据权利要求2所述的视频检测方法,其特征在于,所述至少一个检测模型还包括光流预测模型,所述光流预测模型用于预测两图像的光流图;以及
在所述将所述候选帧序列中的候选帧输入至所述行为类别检测模型之前,所述基于预先训练的至少一个检测模型,检测所述候选帧序列中的目标帧,还包括:
将所述候选帧序列输入至所述光流预测模型,得到所述候选帧序列中的相邻候选帧的光流图;
确定所得到的各光流图的像素分布是否满足预设条件;
从所述候选帧序列中,删除不满足所述预设条件的光流图对应的候选帧;
将删除不满足所述预设条件的光流图对应的候选帧后的候选帧序列,作为待输入至所述行为类别检测模型的候选帧序列。
4.根据权利要求2所述的视频检测方法,其特征在于,所述行为类别检测模型通过如下步骤训练得到:
获取样本集,其中,所述样本集中的样本包括图像样本和标注信息,所述标注信息用于指示所述图像样本中的人体对象的行为类别是否为目标行为类别;
将所述样本集中的图像样本作为三维卷积神经网络的输入,将所输入的图像样本对应的标注信息作为所述三维卷积神经网络的输出,利用机器学习方法,训练得到行为类别检测模型。
5.根据权利要求1所述的视频检测方法,其特征在于,所述对直播视频数据进行预处理,生成帧序列,包括:
对直播视频数据进行抽帧;
将所抽取的各帧缩放至目标尺寸;
依次将缩放后的帧进行汇总,生成帧序列。
6.根据权利要求1所述的视频检测方法,其特征在于,所述依次对所述帧序列中的相邻帧进行差分运算,基于差分运算结果,确定所述帧序列中的候选帧,以构成候选帧序列,包括:
依次对所述帧序列中的相邻帧进行差分运算,生成差分图像序列;
分别对所述差分图像序列中的各差分图像的像素值进行归一化;
分别确定归一化后的所述各差分图像的像素平均值,作为差分数值;
将差分数值大于或等于预设阈值的差分图像对应的所述目标帧中的帧确定为候选帧,以构成候选帧序列。
7.根据权利要求1所述的视频检测方法,其特征在于,在所述检测所述候选帧序列中的目标帧之后,所述方法还包括:
对所检测出的目标帧进行整合,生成目标行为视频片段。
8.根据权利要求7所述的视频检测方法,其特征在于,所述对所检测出的目标帧进行整合,生成目标行为视频片段,包括:
按照时间顺序对所检测出的目标帧进行合并,生成初始视频;
对所述初始视频进行平滑处理,生成目标行为视频片段。
9.据权利要求1-8之一所述的视频检测方法,其特征在于,所述目标行为类别为舞蹈类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910446514.2/1.html,转载请声明来源钻瓜专利网。