[发明专利]数字人渲染视频的检测方法和系统在审
申请号: | 202211206698.3 | 申请日: | 2022-09-30 |
公开(公告)号: | CN115471489A | 公开(公告)日: | 2022-12-13 |
发明(设计)人: | 袁永强;张洽钿;杜冀中 | 申请(专利权)人: | 北京智谱华章科技有限公司 |
主分类号: | G06T7/00 | 分类号: | G06T7/00;G06N3/04;G06N3/08 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 100084 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数字 渲染 视频 检测 方法 系统 | ||
本申请提出一种数字人渲染视频的检测方法和系统,该方法包括:接收待检测的数字人渲染视频,并将数字人渲染视频转换为画面帧格式;对转换后的数字人渲染视频异步进行多种类型的异常检测,包括:基于深度学习和卷积神经网络的异常检测、基于相邻图像对比的边界异常检测、图片切分异常检测和视频卡顿异常检测;获取每种异常检测的检测结果,将每个检测结果中的检测得分乘以对应的权重得到数字人渲染视频最终的目标得分;判断目标得分是否小于预设的分数阈值,在目标得分小于分数阈值的情况下对数字人渲染视频进行重新渲染。该方法对计算机自动渲染出来的数字人视频进行多层的画面质量检测,能够排除异常,保证数字人渲染视频的质量。
技术领域
本申请涉及数字人技术领域,尤其涉及一种数字人渲染视频的检测方法和系统。
背景技术
目前,数字人的普及率逐渐提高,数字人已经广泛应用于各个技术领域中。数字人是信息科学与生命科学融合的产物,是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真,通过建立多层次的数字模型实现对人体从微观到宏观的精确模拟。通过生成包含渲染完成的数字人的视频,可实现向用户提供信息和语音交互等多种功能。然而,目前渲染出来的数字人视频,中间偶尔会出现画面异常的现象,因此,需要对渲染出的数字人视频进行异常检测。
相关技术中,对数字人渲染视频进行异常检测时,通常是采用人工检测的方式,由工作人员依次检查生成的每一个视频。然而,上述人工检测的方式,检测效率低,检测成本高,占用了较多的人力资源,并且,可能存在漏检和检测的误差率较高。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的第一个目的在于提出一种数字人渲染视频的检测方法,该方法针对计算机自动渲染出来的数字人形象的视频流/画面帧进行画面质量检测,解决计算机自动渲染出来的视频混有异常画面的问题,大幅提升数字人渲染结果的质量稳定性。
本申请的第二个目的在于提出一种数字人渲染视频的检测系统。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本申请的第一方面实施例提出了一种数字人渲染视频的检测方法,包括以下步骤:
接收待检测的数字人渲染视频,并将所述数字人渲染视频转换为画面帧格式;
对转换后的数字人渲染视频异步进行多种类型的异常检测,所述多种类型的异常检测包括:基于深度学习和卷积神经网络的异常检测、基于相邻图像对比的边界异常检测、图片切分异常检测和视频卡顿异常检测;
获取每种所述异常检测的检测结果,将每个所述检测结果中的检测得分乘以对应的权重得到所述数字人渲染视频最终的目标得分;
判断所述目标得分是否小于预设的分数阈值,在所述目标得分小于所述分数阈值的情况下对所述数字人渲染视频进行重新渲染。
可选地,在本申请的一个实施例中,在所述将所述数字人渲染视频转换为画面帧格式之前,还包括:分析所述数字人渲染视频,并根据分析结果为所述数字人渲染视频的检测任务配置相应的虚拟内存。
可选地,在本申请的一个实施例中,基于深度学习和卷积神经网络的异常检测,包括:获取预先通过大量标记的异常图片训练完成的YoloV5网络模型;将全部的画面帧输入至所述训练完成的YoloV5网络模型,获取所述YoloV5网络模型输出的对每张所述画面帧的检测结果。
可选地,在本申请的一个实施例中,图片切分异常检测,包括:对每张画面帧根据不同的分辨率进行切分,获取每张所述画面帧中的多个目标区域,所述多个目标区域是数字人的胸部之上且除脸部区域之外的部分;对相邻的切片进行对比,获取每张所述画面帧的检测结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京智谱华章科技有限公司,未经北京智谱华章科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211206698.3/2.html,转载请声明来源钻瓜专利网。