[发明专利]一种基于增强现实的小部件检测系统及检测方法

说明书

一种基于增强现实的小部件检测系统，包括服务器、主机、AR眼镜和图像获取设备，服务器与主机无线连接，图像获取设备与主机有线连接，AR眼镜通过与主机有线连接；将图像获取设备获取的实物影像通过主机传输到服务器中，服务器收到实物实物的影像后，对实物图像进行前期处理，且对实物的影像构建坐标，并根据实物影像的坐标数据采用神经网络算法，在实物影像上构建虚拟影像，并将实物影像和构建的虚拟影像混合在一起通过主机发送到AR眼镜中，从而起到增强现实的效果。从而通过自动AI检测，协助工人判断，减少工人负担和失误，从而降低了检测人员的门槛要求，大大提高了基层维修保障的日常巡检工作效率。

技术领域

本发明涉及一种小部件检测系统，具体涉及一种基于增强现实的小部件检测系统。

背景技术

一般情况下，为保证航空发动机进场正常工作不出故障，发动机的巡检包括很多步骤，尤其包括许多针对小部件细节的检查，工人往往进行操作时容易疲劳，出现漏检误检，导致一些安全事故发生。尤其是发动机上部件零件多，场景复杂，即便人眼也容易出错，小目标部件的检测精度和速度是业界难题。在巡检流程中如何辅助工人提高效率，减少失误还需进一步研究。

发明内容

本发明要解决的技术问题是：基于现有技术的不足，提出一种通过AR自动检测，在零件出现异常时及时发出警报，从而辅助工人对发动机的巡检。

针以上述问题，本发明提出的技术方案是：一种基于增强现实的小部件检测系统，包括服务器、主机、AR眼镜和图像获取设备，服务器与主机无线连接，图像获取设备与主机有线连接，AR眼镜通过与主机有线连接；将图像获取设备获取的实物影像通过主机传输到服务器中，服务器收到实物实物的影像后，对实物图像进行前期处理，且对实物的影像构建坐标，并根据实物影像的坐标数据采用神经网络算法，在实物影像上构建虚拟影像，并将实物影像和构建的虚拟影像混合在一起通过主机发送到AR眼镜中，从而起到增强现实的效果。

优选的，还包括位置传感器，通过位置传感器捕捉实物的实时影像，并对实时的影像构建坐标，从而提高实物实时影像坐标的精度。

优选的，图像获取设备为高清摄像头，所述高清摄像头分辨率为1080P以上，且高清摄像头上设置有LED灯。

优选的，AR眼镜中的镜片采用由石英玻璃制成的光波导，提高透光率和增大视角，从而提高视觉效果。

一种基于增强现实的小部件检测方法，先用图像获取设备获取小部件的实物影像，再将图像获取设备获取的实物影像发送到主机中，经主机初步处理后传输到服务器中，服务器收到实物实物的影像后，对实物图像进行前期处理，然后根据实物影像的坐标数据采用神经网络算法，在实物影像上构建虚拟影像，并将实物影像和构建的虚拟影像混合在一起通过主机发送到AR眼镜中，从而起到增强现实的效果。

优选的，对实物图像进行前期处理包括对要检测的小部件与背景进行识别、筛选并标识，从而将要检测的小部件实物与背景区分开来。

优选的，对实物图像进行前期处理还包括虚拟扩充、背景叠加、色彩过滤、图像分割、二值化和边缘检测，从而有效的将要检测的小部件与背景进行有效的区分。

优选的，对要检测的小部件与背景进行有效的区分后，对各个小部件构建基准状态的虚拟影像，并不断将各个小部件的实物影像与基准状态的虚拟影像进行实时对比，从而形成自动AI检测，当所述的自动AI检测发现有异常时发出警报，提醒工作人员。

优选的，采用的神经网络算法为采用darknet框架，并辅助opencv的mossetracker跟踪算法进行补充。