[发明专利]视频处理方法和装置、电子设备及计算机可读存储介质有效
申请号: | 201910345625.4 | 申请日: | 2019-04-26 |
公开(公告)号: | CN110087143B | 公开(公告)日: | 2020-06-09 |
发明(设计)人: | 赵红亮;李凯 | 申请(专利权)人: | 北京谦仁科技有限公司 |
主分类号: | H04N21/845 | 分类号: | H04N21/845;H04N21/4788;H04N21/4402;H04N5/265;G10L15/26;G06K9/00 |
代理公司: | 北京睿派知识产权代理事务所(普通合伙) 11597 | 代理人: | 刘锋;刘熔 |
地址: | 100007 北京市东城区安*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 处理 方法 装置 电子设备 计算机 可读 存储 介质 | ||
1.一种视频处理方法,包括:
获取第一用户的至少一个第一视频文件和第二用户的至少一个第二视频文件;
根据至少一个窗口时长对所述第一视频文件和所述第二视频文件进行遍历截取以获得第一视频候选集,所述第一视频候选集包括多个视频片段对,各所述视频片段对包括窗口时长相同且时间轴位置相同的第一视频片段和对应的第二视频片段;
根据所述的第一视频文件获取每个单位时间周期对应的第一向量,根据所述第二视频文件获取每个单位时间周期对应的第二向量,所述第一向量和所述第二向量均包括人脸状态参数和语言识别参数,所述第一向量用于表征对应的单位时间周期内的第一用户状态,所述第二向量用于表征对应的单位时间周期内的第二用户状态;
根据每个单位时间周期对应的所述第一向量和所述第二向量获取每个单位时间周期的第三向量;
根据每个视频片段对对应的时间轴位置和所述第三向量,确定第四向量;
根据所述第四向量从所述第一视频候选集中选取多个第一视频片段和第二视频片段;
根据选取的第一视频片段和第二视频片段得到目标视频片段。
2.根据权利要求1所述的方法,其特征在于,根据所述的第一视频文件获取每个单位时间周期对应的第一向量包括:
根据第一视频文件确定目标单位时间周期对应的视频数据和音频数据;
分别对所述视频数据的多个图像帧进行人脸识别,获取每个图像帧对应的人脸状态参数;
对所述音频数据进行语音识别,获取语音分布参数;
根据所述人脸状态参数和所述语音分布参数确定所述第一向量。
3.根据权利要求1所述的方法,其特征在于,根据所述第二视频文件获取每个单位时间周期对应的第二向量包括:
根据第二视频文件确定目标单位时间周期对应的视频数据和音频数据;
分别对所述视频数据的多个图像帧进行人脸识别,获取每个图像帧对应的人脸状态参数;
对所述音频数据进行语音识别,获取语音分布参数;
根据所述人脸状态参数和所述语音分布参数获取所述第二向量。
4.根据权利要求2或3所述的方法,其特征在于,所述人脸状态参数包括表征人脸出现情况的第一值和表征人脸表情状态的第二值。
5.根据权利要求1所述的方法,其特征在于,所述根据每个单位时间周期对应的所述第一向量和所述第二向量获取第三向量包括:
将相同单位时间周期对应的第一向量和第二向量合并为所述单位时间周期对应的第三向量。
6.根据权利要求5所述的方法,其特征在于,根据每个视频片段对对应的时间轴位置和所述第三向量,确定第四向量包括:
确定目标视频片段对;
根据所述目标视频片段对的时间轴位置确定对应的多个目标单位时间周期;
计算所述多个目标单位时间周期的第三向量的和向量;
根据平均向量和窗口时长确定每个元素对应的元素随机分布函数,所述平均向量根据多个视频文件中的各单位时间周期的第三向量平均计算获得;
根据每个元素对应的元素随机分布函数和所述和向量确定所述目标视频片段对的第四向量,其中,所述第四向量的各元素为所述和向量的对应元素在对应的元素随机分布函数中的分位值。
7.根据权利要求6所述的方法,其特征在于,根据所述第四向量从所述第一视频候选集中选取多个第一视频片段和第二视频片段包括:
根据所述第四向量确定过滤视频片段对;
从所述第一视频候选集中去除掉所述过滤视频片段对以获得第二视频候选集。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第四向量确定过滤视频片段包括:
响应于所述第四向量中所述各元素中任一项小于对应的分位值阈值,将对应的视频片段对确定为所述过滤视频片段。
9.根据权利要求6所述的方法,其特征在于,所述元素随机分布函数为以平均向量中对应元素为均值,长度和所述窗口时长匹配的二项分布函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京谦仁科技有限公司,未经北京谦仁科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910345625.4/1.html,转载请声明来源钻瓜专利网。