[发明专利]数字人渲染视频的检测方法和系统在审
申请号: | 202211206698.3 | 申请日: | 2022-09-30 |
公开(公告)号: | CN115471489A | 公开(公告)日: | 2022-12-13 |
发明(设计)人: | 袁永强;张洽钿;杜冀中 | 申请(专利权)人: | 北京智谱华章科技有限公司 |
主分类号: | G06T7/00 | 分类号: | G06T7/00;G06N3/04;G06N3/08 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 100084 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数字 渲染 视频 检测 方法 系统 | ||
1.一种数字人渲染视频的检测方法,其特征在于,包括以下步骤:
接收待检测的数字人渲染视频,并将所述数字人渲染视频转换为画面帧格式;
对转换后的数字人渲染视频异步进行多种类型的异常检测,所述多种类型的异常检测包括:基于深度学习和卷积神经网络的异常检测、基于相邻图像对比的边界异常检测、图片切分异常检测和视频卡顿异常检测;
获取每种所述异常检测的检测结果,将每个所述检测结果中的检测得分乘以对应的权重得到所述数字人渲染视频最终的目标得分;
判断所述目标得分是否小于预设的分数阈值,在所述目标得分小于所述分数阈值的情况下对所述数字人渲染视频进行重新渲染。
2.根据权利要求1所述的数字人渲染视频的检测方法,其特征在于,在所述将所述数字人渲染视频转换为画面帧格式之前,还包括:
分析所述数字人渲染视频,并根据分析结果为所述数字人渲染视频的检测任务配置相应的虚拟内存。
3.根据权利要求1或2所述的数字人渲染视频的检测方法,其特征在于,所述基于深度学习和卷积神经网络的异常检测,包括:
获取预先通过大量标记的异常图片训练完成的YoloV5网络模型;
将全部的画面帧输入至所述训练完成的YoloV5网络模型,获取所述YoloV5网络模型输出的对每张所述画面帧的检测结果。
4.根据权利要求1所述的数字人渲染视频的检测方法,其特征在于,所述图片切分异常检测,包括:
对每张画面帧根据不同的分辨率进行切分,获取每张所述画面帧中的多个目标区域,所述多个目标区域是数字人的胸部之上且除脸部区域之外的部分;
对相邻的切片进行对比,获取每张所述画面帧的检测结果。
5.根据权利要求1所述的数字人渲染视频的检测方法,其特征在于,在所述对转换后的数字人渲染视频异步进行多种类型的异常检测之前,还包括:
根据数字人的动作幅度确定所述数字人渲染视频的类型;
根据所述数字人渲染视频的类型为每种类型的异常检测分配所述对应的权重。
6.根据权利要求1所述的数字人渲染视频的检测方法,其特征在于,在所述对所述数字人渲染视频进行重新渲染之后,还包括:
对重新渲染后的数字人渲染视频重复进行检测,并在未通过所述检测时,根据视频标号对所述重新渲染后的数字人渲染视频的重复渲染次数进行记录;
判断所述重复渲染次数是否大于预设的重复次数阈值,在所述重复渲染次数大于所述重复次数阈值的情况下,结束检测流程并将所述重新渲染后的数字人渲染视频发送至异常任务标注系统。
7.根据权利要求1所述的数字人渲染视频的检测方法,其特征在于,检测结果还包括:异常类型、异常位置坐标和异常方位,所述对所述数字人渲染视频进行重新渲染,包括:
针对检测出的所述异常类型、所述异常位置坐标和所述异常方位,以排除异常为目标进行重新渲染。
8.一种数字人渲染视频的检测系统,其特征在于,包括以下模块:
转换模块,用于接收待检测的数字人渲染视频,并将所述数字人渲染视频转换为画面帧格式;
异常检测模块,用于对转换后的数字人渲染视频异步进行多种类型的异常检测,所述多种类型的异常检测包括:基于深度学习和卷积神经网络的异常检测、基于相邻图像对比的边界异常检测、图片切分异常检测和视频卡顿异常检测;
计算模块,用于获取每种所述异常检测的检测结果,将每个所述检测结果中的检测得分乘以对应的权重得到所述数字人渲染视频最终的目标得分;
判断模块,用于判断所述目标得分是否小于预设的分数阈值,在所述目标得分小于所述分数阈值的情况下对所述数字人渲染视频进行重新渲染。
9.根据权利要求8所述的数字人渲染系统,其特征在于,还包括:配置模块,所述配置模块,具体用于:
分析所述数字人渲染视频,并根据分析结果为数字人渲染视频的检测任务配置相应的虚拟内存。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的数字人渲染视频的检测方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京智谱华章科技有限公司,未经北京智谱华章科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211206698.3/1.html,转载请声明来源钻瓜专利网。