[发明专利]基于体素化UNet-Transformer的非刚性三维点云配准方法、系统及终端

说明书

本发明涉及一种基于体素化UNet‑Transformer的非刚性三维点云配准方法、系统及终端，该配准方法首先对UNet‑Transformer网络进行改良得到配准模型，然后对原始点云和目标点云进行网格化处理得到原始体素化网格和目标体素化网格，将原始点云和目标点云分别填充进相应的体素化网格。依次将两个网格分别输入至两组Self‑attention模块以及Cross‑attention模块中，学习自身及彼此的点云特征并输入至深度可分离卷积模块进行迭代处理，利用多尺度融合模块将不同尺度的特征融合至同一层面以得到最终特征，将最终特征运用在原始体素化网格中，并在每个网格中的点都施加向矢量得到配准体素化网格，直至当前的配准体素化网格完成预设轮次的训练周期。该配准方法可有效实现大幅度形变下的非刚性三维点云的配准。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于体素化UNet-Transformer的非刚性三维点云配准方法、系统及终端。

背景技术

三维点云配准是计算机视觉中经常出现的一个基本问题。刚性配准通常用一个旋转矩阵和一个平移向量表示，需要的变形参数较少，相对简单且已被广泛研究。非刚性物体总是随着时间和任意的运动而变形，非刚体变形有很大的参数空间，因此非刚性物体的三维点云配准变得相对困难。但由于非刚体配准在很多领域有着广泛的应用，其中包括：医疗诊断、三维重建、目标跟踪、工业检测等，所以在三维重建方面，目前已经有大量关于非刚体配准的算法被提出。

近些年来，有学者提出将传统点云转换为体素化(类似于二维领域中的像素，只是多了一维空间)格式的点云，再根据划分的每一块原始点云的小体素网格进行向量偏移计算出每一个点需要偏移的距离，最终配准到目标点云。因为体素化会将原始点云从无序序列变为有序序列，可以很好的找到点对点之间的关系。然而体素化也同时存在一些缺点：(1)体素化会将原始点云进行一定程度的下采样(减少原本点云中点的个数)，从而丢失原有点云的很多细节信息和一定精度。(2)只使用体素化+向量位移的方法，不能完全实现精细的点云配准，在一些动作幅度变化较大的数据集上，该方法的弊端较大。

另外，有学者将目光转向了基于拆分渐变场的三维点云配准技术：2021年提出的将原始点云到目标点云的大浮动非刚性变换转换为一个一个的小变化的渐变场，将非刚性形变转换为若干个小的刚性形变。这种方法可以减少大型形变转换的困难，转变成相对容易的刚性形变进行配准。然而，这种方法也存在一些不足之处：(1)经过很多拆分的渐变场中，被拆分出来的刚性点云数量过多，在空间和时间复杂度这个层面上来看，开销过大，训练时间过长。(2)使用渐变的刚性点云配准来代替大幅度变化的非刚性配准时，在配准结果中差异过大，刚性配准很难实现非刚性配准的巨大变换，实验效果较差。

因此，上述两种主流的算法都存在着一些欠缺之处，比如在时间空间方面开销过大，训练时间过长，方法过于复杂等等，但最凸出的缺点是现有方法配准效果不佳，在大幅度形变的情况下，无法在细节处精细配准，从而限制了非刚体物体的三维点云配准效率及效果。

发明内容

基于此，有必要针对现有技术中非刚性三维点云的配准效果不佳，在大幅度形变的情况下无法在细节处精细配准的技术问题，本发明提供一种基于体素化UNet-Transformer的非刚性三维点云配准方法、系统及终端。

本发明公开一种基于体素化UNet-Transformer的非刚性三维点云配准方法，包括步骤：

S1.对标准UNet-Transformer网络进行改良得到用于执行非刚性三维点云配准任务的配准模型，配准模型的构建方法包括：

S11.获取经典的UNet-Transformer网络，UNet-Transformer网络包括两组Self-attention模块和一组Cross-attention模块，以此构成配准模型的注意力机制并用于提取点云序列中的全局特征和局部特征。

S12.将标准UNet-Transformer网络中的MLP结构替换为深度可分离卷积模块。