[发明专利]基于Transformer和自注意力的点云序列生成方法

说明书

本发明公开了一种基于Transformer和自注意力的点云序列生成方法，包括：1)从数据集中选取点云序列、表示这个序列的点云形状标签和动作标签输入到PointEncode，得到特征空间的点云序列；2)使用TransformerEncoder得到点云序列隐向量；3)将隐向量输入TransformerDecoder中得到重建的特征空间点云序列，再使用PointDecoder将其还原成点云序列，进行训练；4)从标准高斯分布中采样隐向量，依次使用训练好的TransformerDecoder和PointDecoder将隐向量生成为点云序列。本发明能够在有限的光学动捕数据下训练，生成更多形状合理且真实的光学动捕数据，且取得比以往方法更好的结果。

技术领域

本发明涉及时序数据生成的技术领域，尤其是指一种基于Transformer和自注意力的点云序列生成方法。

背景技术

光学动作捕捉是在游戏和电影行业中广泛使用的技术，其通过多个不同视角并且校准好的红外线传感器去跟踪布置在人物表面的反光点或发光点，以获取表示人物运动的点云序列数据，最后再解算得到人物的骨架。由于光学动作捕捉设备昂贵，并且动作捕捉的过程需要花费大量的人工和时间，因此，人类动作生成在近几年被广泛研究，通过某些如动作标签、文本或者音乐等的条件约束来生成满足这些条件的人体动作。这些方法都是以人的骨架作为姿态的表示，用一系列的骨架表示一个人的动作。因此，这些方法不能直接处理通过光学动作捕捉所得到的人物表面三维点云序列，点云或网格模型本身就是姿态的表示，骨架则可以看成是模型表面网格或者点云的代理。

点云序列数据的获取需要花费大量的人力、物力和时间，目前的点云生成的方法都是用于单个点云的生成任务，点云的生成网络可以粗略的分成基于GANs,的方法和基于概率的方法，这些方法在静态的单帧点云数据集上训练，生成与数据集中不同的单帧点云。它们都是在单帧点云上做生成，没有在点云序列上做生成的方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于Transformer和自注意力的点云序列生成方法，能够在有限的光学动捕数据下训练，生成更多形状合理且真实的光学动捕数据。点云序列可以是物体表面点云序列，也可以是骨架关节点的点云序列。对比以往基于骨架的以动作为条件的人类动作生成网络，本文的方法取得了最好的结果。

为实现上述目的，本发明所提供的技术方案为：基于Transformer和自注意力的点云序列生成方法，包括以下步骤：

1)从数据集中选取点云序列、表示这个序列的点云形状标签和动作标签输入到点云编码网络PointEncoder中，得到特征空间的点云序列；

2)使用序列编码网络TransformerEncoder对步骤1)得到的特征空间的点云序列进行编码，得到一个隐向量作为整个点云序列的隐式表示，并使用KL散度约束将隐向量的分布约束在标准高斯分布中；

3)将步骤2)得到的隐向量输入序列解码网络TransformerDecoder后得到重建的特征空间点云序列，再使用点云解码网络PointDecoder将重建的特征空间点云序列还原成重建的点云序列，以重建的点云序列作为预测值和数据集的真实值构造损失函数，进行训练；

4)从标准高斯分布中采样随机向量作为隐向量，依次使用步骤3)中训练好的序列解码网络TransformerDecoder和点云解码网络PointDecoder将采样的隐向量还原成生成的点云序列。

进一步，在步骤1)中，点云序列是指一系列连续的点云，整个序列表示某个物体在特定时间长度内的一个动作，表示为：

式中，A是指点云序列，p_t是点云序列A中的第t个点云，一个序列共有T个点云，点云是三维点的集合表示为：