[发明专利]一种四维点云自动语义分割标注系统及方法

权利要求书

1.一种四维点云自动语义分割标注方法，使用四维点云自动语义分割标注系统，其特征在于，所述四维点云自动语义分割标注系统包括：

数据上传模块，上传四维点云数据集到控制模块；

数据采样模块，对所述四维点云数据集采样得到样本集；

前端模块，与用户进行交互，进行指令获取和数据展示；

四维点云自动标注模块，对所述四维点云数据集进行预处理，训练及推理四维点云自动语义分割标注模型；

指令发送模块，将所述指令发送到所述四维点云自动标注模块；

结果获取模块，获取所述四维点云自动标注模块关于所述四维点云数据集的推理结果；

控制模块，连接所述数据上传模块、所述数据采样模块、所述前端模块、所述指令发送模块、所述结果获取模块，负责所述指令的控制和所述数据的收发，通过所述指令发送模块和所述结果获取模块与所述四维点云自动标注模块进行通信；

响应于用户的上传所述四维点云数据集的请求，所述前端模块发送数据给所述控制模块；所述控制模块控制所述数据上传模块完成所述数据的获取，再控制所述数据采样模块完成所述样本集的采样；采样完成后，所述前端模块完成数据标注；响应于用户的开始训练请求，所述前端模块发送训练请求给所述控制模块，所述控制模块通过所述指令发送模块通知所述四维点云自动标注模块开始自动训练并完成自动标注；自动标注完成后，所述控制模块通过所述结果获取模块取得标注结果，并在所述前端模块进行所述标注结果展示；

所述四维点云自动语义分割标注方法包括如下步骤：

S100、采样四维点云数据集获得样本集，在所述数据采样模块对所述四维点云数据集进行采样，得到所述样本集；

S200、样本集的人工标注，在所述前端模块对所述样本集进行人工标注；

S300、四维点云预处理，在所述四维点云自动标注模块对所述四维点云预处理；

所述步骤S300包括：

S310、数据下载，所述四维点云自动标注模块下载数据集、下载样本集、下载标注信息；

S320、点云多帧叠加，对N帧时序上连续的点云做叠加，进行叠加时，对所述点云原时序索引进行记录；

S330、坐标系转换和圆柱体体素化，将多帧叠加后的所述点云的坐标（z，y，x）从笛卡尔坐标系转换成极坐标（p, r, z），随后进行圆柱体体素化，得到各点的体素中心点坐标和索引；

S340、点云特征拼接，将所述点云的时序索引，所述点云的笛卡尔坐标（z，y，x）和所述点云的极坐标（p,r,z）信息拼接成一个大张量，作为训练所述四维点云自动语义分割标注模型的输入；

S400、四维点云自动语义分割标注模型训练，在所述四维点云自动标注模块中训练所述四维点云自动语义分割标注模型，所述四维点云自动语义分割标注模型为深度神经网络模型，所述深度神经网络模型结构包括两组多层感知机以及由稀疏卷积层构成的编码器和解码器，每组多层感知机包含三个多层线性感知机，第一组中三个多层感知机的特征数量逐层递增，第二组中三个多层感知机的特征数量逐层递减；

所述深度神经网络模型的训练流程包括：

S410、所述四维点云输入所述第一组多层感知机，输出的特征映射到各体素位置得到所述圆柱体体素化的特征；

S420、所述圆柱体体素化的特征经过所述编码器和所述解码器，所述解码器输出的结果与体素标签计算voxel-wise损失；

S430、所述第一组多层感知机的输出特征另送入所述第二组多层感知机进行后续运算；

S440、所述解码器输出的结果送入所述第二组多层感知机，输出与点云标签计算point-wise损失；

S500、模型推理以及结果后处理，在所述四维点云自动标注模块中进行模型推理以及结果后处理；

S600、人工质检和微调，在所述前端模块进行人工质检和微调。

2.如权利要求1所述的四维点云自动语义分割标注方法，其特征在于，所述步骤S100包括：

S110、上传点云数据，在所述前端模块，用户创建并上传所述四维点云数据集；

S120、划分待标注数据，所述数据采样模块自动将所述四维点云数据集以相同间隔采样出小批待标注数据作所述为样本集。

3.如权利要求1的四维点云自动语义分割标注方法，其特征在于，所述步骤S500还包括：

S510、单帧推理，用保存的四维点云自动语义分割标注模型权重来对四维点云数据集中的每一帧点云做推理；

S520、推理结果后处理，对所述每一帧点云的推理结果进行多数投票，得到最终的点云分割结果；

S530、结果上传，所述四维点云自动标注模块将语义分割结果上传所述控制模块；

S540、结果可视化，所述控制模块对语义分割结果进行可视化操作，并在所述前端模块将可视化的结果进行展示。