[发明专利]基于视频驱动数字人肢体动作的方法、装置及设备

说明书

本发明涉及人工智能技术领域，具体涉及一种基于视频驱动数字人肢体动作的方法、装置及设备。该方法包括：获取视频流数据，将所述视频流数据逐帧分解为按预设顺序排列的多张图片数据；将所述多张图片数据按所述预设顺序依次输入至预设模型，依次生成每张图片数据对应的三维姿态坐标；基于各图片数据的所述三维姿态坐标得到各图片数据的标准骨骼坐标；基于所述各图片数据的标准骨骼坐标得到各图片数据对应的数字人各关节的旋转四元数；根据所述旋转四元数和所述预设顺序驱动所述数字人的肢体动作。以解决传统的肢体动作捕捉技术中专业设备多、成本高以及骨骼捕捉不精准的问题。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于视频驱动数字人肢体动作的方法、装置及设备。

背景技术

随着科技的不断发展，动作捕捉技术受到越来越多的关注。它是将人体姿态、动作信息采集，利用合适的数据处理方法对这些信息进行精准化特征量化分析，最终获取想要的动作信息，以及相应的后续处理。动作捕捉在学术上具有基础性意义，广泛应用于虚拟与增强现实领域、机器人领域，以及运动生物学领域。三维动作捕捉系统是在三维空间中全面记录物体运动的设备，根据原理不同分为机械式运动捕捉、声学式运动捕捉、电磁式运动捕捉、光学式运动捕捉和惯性式运动捕捉。

但是，光学式运动捕捉设备价格昂贵且设备精度存在一定的限制，无法满足用户对于精度的要求，且容易环境受外界干扰；惯性式运动需要大量的设备，成本大并且对于室内部署要求较高，且捕捉的精度和准确性都有一定的限制，某些运动情况下，信号的干扰可能会影响信号的采集，从而影响运动捕捉的准确度。

因此，急需解决传统的肢体动作捕捉技术中专业设备成本高以及骨骼捕捉不精准的问题。

发明内容

有鉴于此，本发明提供一种基于视频驱动数字人肢体动作的方法、装置及设备，以解决传统的肢体动作捕捉技术中专业设备多、成本高以及骨骼捕捉不精准的问题。

根据本发明实施例的第一方面，一种基于视频驱动数字人肢体动作的方法，包括：

获取视频流数据，将所述视频流数据逐帧分解为按预设顺序排列的多张图片数据；

其中，所述视频流数据中包含一系列的人物肢体动作；

将所述多张图片数据按所述预设顺序依次输入至预设模型，依次生成每张图片数据对应的三维姿态坐标；其中，所述三维姿态坐标包括预设数量个人体关节的三维坐标；

基于各图片数据的所述三维姿态坐标得到各图片数据的标准骨骼坐标；其中，所述标准骨骼坐标包括数字人的关节的标准坐标，所述数字人的关节与所述三维姿态坐标中人体姿态的关节一一对应；

基于所述各图片数据的标准骨骼坐标得到各图片数据对应的数字人各关节的旋转四元数；

根据所述旋转四元数和所述预设顺序驱动所述数字人的肢体动作。

进一步的，所述预设模型包括：

基础二维姿态识别模块，用于基于所述图片数据生成二维姿态序列；

空洞卷积模块，用于为所述二维姿态序列建立空间和时域间的关联，得到所述三维姿态坐标。

进一步的，所述将所述多张图片数据按所述预设顺序依次输入至预设模型，依次生成与每张图片数据对应的三维姿态坐标，包括：

获取所述多张图片数据，依次生成与每张图片数据对应的偏置图和热力图；

基于所述偏置图和热力图生成对应每张图片数据的预设数量个人体关节的三维姿态坐标。

进一步的，还包括：

对所述三维姿态坐标进行自适应卡尔曼滤波和低通滤波处理。

进一步的，所述基于所述各图片数据的标准骨骼坐标得到各图片数据对应的数字人各关节的旋转四元数，包括：

基于第一张图片数据，生成初始Y轴朝向和各个关节的初始Z轴朝向；