[发明专利]基于实例分割的半虚拟数据集自动生成方法

权利要求书

1.一种基于实例分割的半虚拟数据集自动生成方法，其特征在于，包括如下步骤：

S1，通过数字孪生体作为实例分割图片数据集的来源，并对实例分割数据集进行标注，形成实例分割数据集；

步骤S1具体为：

S1.1，获取实例分割数据集图像；根据数字孪生体的虚拟场景和数字孪生体的虚拟摄像头获取到数字孪生体视频流，将获取到的数字孪生虚拟对象的仿真动画视频，进行视频取帧，将视频制作成一帧一帧格式统一、像素大小相同的图片；

S1.2，对视频取帧产生的图片进行预处理，删除不符合要求的数据集图片；在收集到的数字孪生体数据集放入网络前，根据图像质量评价算法对数据集质量进行评价，删除不符合要求的图片；其中，图像质量评估算法使用客观无参考图像质量评价中的QAC进行图像质量评估；首先对输入的待评价图像y进行子块分解，将其划分为N个重叠的子块y_i，并使用高通滤波器h_σ提取子块的特征向量，记为f_i^y，其中i=1，2，...，N；并寻找到与特征向量f_i^y最相近的图心m_1,ki，求出特征向量和图心的距离δ_l，i=||f_i^y-m_1，ki||²；根据求出的距离δ_l，i使用公式（1）所示的加权平均的方式确定y_i最终的质量得分；其中，λ表示控制权重exp(-δ_l，i /λ)衰减率的参数；

（1）

在获得每个子块的质量得分z_i后，就得到待评价图像y的最终质量得分z，如公式（2）所示：

（2）

根据得到的最终质量得分z和预设的质量得分阈值比较，当大于得分阈值时，保留数据集，反之删除数据集；

S1.3，利用Labelme软件对收集到的实例分割虚拟数据图片进行标注，将图片中需要检测的目标进行轮廓标注；每标注一张图片会自动生成图片对应的同名json文件，json文件内容包括图片中目标物体的类别和该目标对应的轮廓坐标点信息；

S2，使用实例分割虚拟数据集对Mask R-CNN网络，进行训练并将迭代训练的模型进行实例分割算法的评估；

步骤S2具体为：

S2.1，将标注好的实例分割数据集json文件转化为实例分割网络可训练的源图片、实例分割掩模图片、标签中的各个类别的名称、源图片与实例分割掩模图片融合的图片；

S2.2，将实例分割数据集图片和标签文件放入到实例分割网络中进行网络训练，将batch size数量的样本放入到实例分割网络中进行预测，并计算预测结果损失，损失总共有五个损失函数，分别是RPN网络的两个损失，最终分类回归的两个损失，以及mask分支的损失函数，根据得到的五个损失计算平均损失，并进行一次参数更新，生成参数更新的实例分割网络，最后，利用上述训练步骤进行多次迭代训练；

S2.3，将迭代训练的模型进行实例分割算法的评估，根据训练好的网络模型和测试集计算模型的MIoU和MPA

S3，利用训练好的实例分割模型检测虚拟对象产生mask图片以及目标的位置坐标和类别信息；

步骤S3具体为：

S3.1，将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测，根据仿真动画视频流得到的帧画面放入到特征提取网络中获得特征图，并根据特征图获得ROI区域，将获取到的ROI区域送入RPN网络中进行分类和回归，最后将经过RPN网络处理的ROI区域进行多类别分类和候选框回归，并生成Mask图片，每检测一帧视频流画面，产生一张带有目标信息的Mask图片；

S3.2，根据实例分割检测结果获取到检测目标的位置和类别信息，在将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测时，会检测出目标的坐标和类别信息，为下一步的目标检测的数据集标注文件提供信息；

S4，利用目标的位置坐标和类别信息自动生成半虚拟数据集标注XML文件，根据S3获取到的目标坐标和类别信息，通过代码自动生成半虚拟数据集图像对应的标注文件；标注文件内容包括图片中目标物体的位置和类别信息；

S5，根据mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，并将两者相互叠加生成半虚拟图片数据集；

步骤S5具体为：

S5.1，通过可二次开发的摄像头获取到一帧数字孪生体物理对象场景画面，作为半虚拟数据集的背景图；

S5.2，将得到的虚拟目标Mask图片分别对数字孪生体物理对象背景图和数字孪生体虚拟对象视频流图片进行处理，得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，并将两者相互叠加生成半虚拟图片数据集；

S5.3，对半虚拟图片数据集进行预处理，对不符合要求的数据集图片进行删除。