[发明专利]一种混合式虚拟场景辅助学习的电力部件识别方法

说明书

本发明提出了一种混合式虚拟场景辅助学习的电力部件识别方法，包括虚拟场景的搭建、虚拟样本数据生成、虚拟影像的目标检测、人工辅助程序标注、迭代式增强训练等步骤。本发明提出了一套在没有实拍数据作为训练样本的情况下，利用基于几何约束的组合检测器，结合使用hog特征、haar特征与CNN深度网络，解决了由于虚拟样本在场景、目标等特征上与真实电力数据具有一定差距的问题。当真实数据的数量较少时，以VGG16作为主干网络，用ImageNet作为初始权值，并将真实数据集与虚拟数据集组成混合数据集，利用近似联合训练法训练FasterR‑CNN网络，不断增加标记数据和模型检测精度，起到了很好的训练和识别效果。

技术领域

本发明涉及计算机辅助电力设备识别领域，尤其涉及一种混合式虚拟场景辅助学习的电力部件识别方法。

背景技术

在将虚拟模型用于目标检测的数据集方面，前人已经做出了一些工作。如Marin等人就探讨了能否将虚拟现实游戏场景中的人物用来做行人检测的训练数据集；Pishchulin等人是先采用人体3D模型匹配出图像中人物的姿态，然后通过微调3D模型的姿态并变换背景来达到扩充人体姿态数据集的目的，并用来进行姿态估计；Shotton等人则通过合成深度图像的方式来训练并作为人体姿态识别的数据集；Papon等人是在合成深度图像的基础上加入合成的RGB等纹理和色彩信息，来作为室内家居环境的识别与物体姿态估计深度网络的数据集；Aubry等人则通过一个含有上千个不同形状椅子的CAD模型集以及采用HOG特征和基于部件的线性判别分析(LDA，Linear Discriminant Analysis)的方法来识别室内环境中椅子的类别并估计姿态；Ros等人通过Unity平台生成了一套合成影像与标注集(SYNTHetic collection of Imagery and Annotations，SYNTHIA)，并结合实际影像数据集用以作为自动驾驶中场景分割、目标识别等的问题的训练集，取得了较好的效果。在电力设备的识别上，也有一些基于虚拟3D模型的识别，如翟永杰等人提出了一种通过绝缘子3D模型训练类Haar级联特征分类器，并用于检测的方法；翟荔婷等人通过3D塔架与图像中的塔架配准得到绝缘子的位置，再利用地球移动距离的方法检测绝缘子是否存在自爆等的异常。

通常单独使用虚拟及人工合成的数据集不能达到最佳的效果，还需要使用少量的真实数据进行迁移学习以适应新的目标域。例如，基于LDA的从3D模型数据集迁移到2D平面识别的方法，通过高质量的虚拟仿真数据并用一种先用虚拟数据训练，再根据在真实数据上检测结果并结合少量人工标注以进一步训练的迁移学习方法来做行人检测。Xu等人提出了一种针对可变部件模型(DPM，Deformable Part Model)数据迁移学习方法，利用层次结构对这种迁移学习的方法进行了改进和拓展。但是在一些情况下，需要在没有真实数据的条件下得到目标检测的分类器，在某个特定场景下用监控摄像头做行人监测的应用前景，由于要求在摄像头安装好之后即可进行监测，为此提出了一种针对实际具体场景进行虚拟建模并获取数据集的方法，并取得了比在通用数据集上训练出的分类器更好的效果。

在上述这些基于机器学习的目标检测方法中，类Haar特征表达的是影像上相邻两块或多块矩形区域之间明暗对比关系的特征，HOG特征是通过对图像梯度的学习来得到目标物体的轮廓信息，而基于深度网络的方法则通过学习来达到对目标物体特征的自动归纳与拟合。但是对于虚拟影像来说，通常难以保证对真实物件所有模式的还原，只能由建模人员根据实物的参考和经验进行建模，在模型样式，尤其是纹理贴图样式上具有局限性，只用虚拟仿真模型生成的图像样本训练得到的深度模型对实际目标物体的预测能力并不理想。另外，真实样本与虚拟样本的特性相反，利用无人机拍摄的电力设备影像往往分辨率大，像素数量多，目标在影像中的个数与所占比例均较小，当前能够将这些特点有效利用并与虚拟影像有机结合的方法较少。

发明内容

为解决上述技术问题，本发明提出了一种能通过迭代训练改善样本较少情况下，模型与实物影响差别大、识别率不理想的不足的虚拟混合式虚拟场景辅助学习的电力部件识别方法。