[发明专利]视频快速切片方法、装置及电子设备有效
申请号: | 201910622592.3 | 申请日: | 2019-07-11 |
公开(公告)号: | CN110381391B | 公开(公告)日: | 2021-11-09 |
发明(设计)人: | 高永强 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | H04N21/845 | 分类号: | H04N21/845;H04N21/44 |
代理公司: | 北京竹辰知识产权代理事务所(普通合伙) 11706 | 代理人: | 陈龙 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 快速 切片 方法 装置 电子设备 | ||
1.一种视频快速切片方法,其特征在于,所述方法包括:
将所述视频划分为一个或多个视频片段;
计算所述一个或多个视频片段的平均图集合,包括:通过公式来计算所述平均图集合,其中,是视频片段的平均图在坐标处的像素值,是第i个帧图像在坐标处的像素值,并且N是该视频片段包含的帧图像的数量;
将所述平均图集合输入切片网络,以便基于所述切片网络用于对所述平均图集合进行分类;以及
根据所述切片网络的输出来标记所述平均图集合以将所述视频切分成一个或多个切片。
2.根据权利要求1所述的视频快速切片方法,其特征在于,所述将所述平均图集合输入切片网络,包括:
设置序列-分类器形式的循环神经网络作为所述切片网络;
将获得的所述平均图集合按照视频的时间顺序输入到所述循环神经网络中,以对每个平均图进行分类。
3.根据权利要求2所述的视频快速切片方法,其特征在于,所述循环神经网络为长短期记忆LSTM网络,所述长短期记忆LSTM网络包括输入门、遗忘门和输出门,其中,所述输入门决定当前时间步的输入和前一个时间步的系统状态对内部状态的更新,所述遗忘门决定前一个时间步内部状态对当前时间步内部状态的更新,所述输出门决定内部状态对系统状态的更新。
4.根据权利要求1所述的视频快速切片方法,其特征在于,所述切片网络的输出为多值向量,所述多值向量的值用于指示所述一个或多个切片的开始和结束。
5.根据权利要求4所述的视频快速切片方法,其特征在于,所述多值向量为{0,1}的二值向量,其中1表示所述一个或多个切片的开始与结束。
6.根据权利要求5所述的视频快速切片方法,其特征在于,所述根据所述切片网络的输出来标记所述平均图集合以将所述视频切分成一个或多个切片,包括:
如果一帧图像被标注为一个切片的结束,并且在其后还存在帧图像的情况下,则紧接的下一帧图像被强制为下一切片的开始,并被强制置为1。
7.根据权利要求1所述的视频快速切片方法,其特征在于,在所述将所述平均图集合输入切片网络之前,所述方法还包括:
通过如下方法训练所述切片网络:
在视频层次上,采用多倍倍速播放所述视频,以掌握视频概要;
在图像层次上,将所述视频划分为不同的视频片段;
按照预定标准对所述视频片段进行筛选,以舍弃不符合规则的视频片段;
按照预定标准对所筛选的视频片段进行标注以确定切片的开始和结束,从而得到所述切片网络的训练数据;以及
将经标注的视频片段的帧图像输入到所述切片网络中,并以标注结果作为所述切片网络的输出,以对切片网络进行训练。
8.根据权利要求7所述的视频快速切片方法,其特征在于,所述按照预定标准对所筛选的视频片段进行标注以确定切片的开始和结束,包括:
在预设的交互界面中照预定标准对所筛选的视频片段进行标注,其中,所述界面包括:
快速播放按钮,被配置为以多倍倍速播放所述视频;
视频帧展示区域,被配置为显示当前的视频片段的帧图像并对所述帧图像进行标注以确定所述一个或多个切片的开始和结束;以及
视频操作栏,包括:
上一视频片段按钮,被配置为将上一视频片段的帧图像显示在所述视频帧展示区;
下一视频片段按钮;被配置为将下一视频片段的帧图像显示在所述视频帧展示区;以及
不合格视频片段按钮,被配置为在所述视频帧展示区域中展示的视频片段的帧图像不满足所述预定标准时将所述视频片段删除。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910622592.3/1.html,转载请声明来源钻瓜专利网。