[发明专利]低配显卡条件下的数字人渲染方法和系统

说明书

本申请提出一种低配显卡条件下的数字人渲染方法和系统，该方法包括：分析当前的数字人渲染任务，并根据分析结果为数字人渲染任务配置相应的虚拟内存；接收数字人的渲染配置信息和文本，根据文本生成音频数据，并基于音频数据生成数字人的面部行为数据和肢体行为数据；向渲染引擎下发执行数字人渲染任务的指令，控制渲染引擎利用虚拟内存执行数字人渲染任务，根据面部行为数据和肢体行为数据渲染数字人；接收渲染引擎输出的内容为渲染完成的数字人的视频流，并应用至相应的业务场景。该方法可以在低配置显卡条件可以输出质量可靠的数字人渲染结果，降低了数字人渲染的成本。

技术领域

本申请涉及数字人技术领域，尤其涉及一种低配显卡条件下的数字人渲染方法和系统。

背景技术

随着人工智能(AI)技术的发展，数字人已经广泛应用于各个技术领域中。数字人是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真，通过建立多层次的数字模型实现对人体从微观到宏观的精确模拟。通过生成包含渲染完成的数字人的视频，可实现向用户提供信息和语音交互等多种功能，而在应用数字人之前，需要先渲染数字人。

相关技术中，渲染数字人通常采用提升视频生成的技术实现方式，包括以下三种方案：第一，通过预生成视频+抠像实现生成视频；第二，基于预设的关键图像帧的生成方案；第三，针对虚拟短视频生成的基于图像渲染+合成的方案。然而，申请人发现，上述相关技术中的方案，在渲染数字人，特别是超写实数字人的渲染，均非常依赖高配置显卡进行渲染，在不具有高配置显卡的条件下无法实现渲染，导致数字人渲染的成本较高、限制性较强。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种低配显卡条件下的数字人渲染方法，该方法通过为数字人渲染任务配置相应的虚拟内存，可以在低配置显卡条件可以输出质量可靠的数字人渲染结果，降低了数字人渲染的成本和限制条件。

本申请的第二个目的在于提出一种低配显卡条件下的数字人渲染系统。

本申请的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请的第一方面实施例提出了一种低配显卡条件下的数字人渲染方法，包括以下步骤：

分析当前的数字人渲染任务，并根据分析结果为所述数字人渲染任务配置相应的虚拟内存；

接收数字人的渲染配置信息和文本，根据所述文本生成音频数据，并基于所述音频数据生成所述数字人的面部行为数据和肢体行为数据；

向渲染引擎下发执行所述数字人渲染任务的指令，控制所述渲染引擎利用所述虚拟内存执行所述数字人渲染任务，根据所述面部行为数据和所述肢体行为数据渲染数字人；

接收所述渲染引擎输出的内容为渲染完成的数字人的视频流，并应用至相应的业务场景。

可选地，在本申请的一个实施例中，控制所述渲染引擎利用所述虚拟内存执行所述数字人渲染任务，包括：在渲染过程中判断所述虚拟内存的剩余容量能否满足所述数字人渲染任务；在不满足所述数字人渲染任务的情况下，扩增所述虚拟内存的容量。

可选地，在本申请的一个实施例中，在所述接收所述渲染引擎输出的内容为渲染完成的数字人的视频流之后，还包括：对所述视频流中的每帧画面进行质量检测，检测所述每帧画面的质量是否符合要求；在存在任一帧画面的质量不符合要求的情况下，重新进行渲染直至每帧画面的质量均符合要求。

可选地，在本申请的一个实施例中，对所述视频流中的每帧画面进行质量检测，包括：将所述每帧画面与场景基准帧进行对比，检测所述每帧画面中是否存在异常，并确定异常的位置和数量。