[发明专利]基于U-net结构的水晶体分割及定位方法、装置、设备和介质

说明书

本发明提供一种基于U‑net结构的水晶体分割及定位方法，涉及图像分割及关键点定位技术领域，包括分割网络训练过程、关键点定位网络训练过程以及水晶体分割及定位过程，本方法针对水晶体这种光线结构复杂的目标，通过采用U‑net结构，使得网络获得了增强图像特征和筛选特征的能力，构建了一个极为鲁棒的水晶体分割模型；采用图像分割获得的水晶体图像作为输入进行关键点定位，重复利用了分割的模型结果，提升了关键点定位的准确率；本方法不仅分割和定位效果卓著，同时模型结构简单，实现了在嵌入式设备上有效运行。本发明实施例克服了水晶体面临的光线复杂条件下的分割和定位问题，使得生成的分割掩码和水晶体关键点准确可靠，抗噪声能力强。

技术领域

本发明涉及图像分割及关键点定位技术领域，特别涉及一种基于U-net结构的水晶体分割及定位方法、装置、设备和介质。

背景技术

图像分割技术是将图像中人们感兴趣的区域分割出来，是计算机图像处理中的一种基本技术，是图像分析和理解的基础。具体对于水晶体分割和三维重建而言，就算通过计算机视觉算法，分割出图像中的水晶体，并确定该水晶体的空间位置的过程。

不过当前对透明水晶体的研究还处于初期阶段，如专利名称为“一种晶体颗粒的图像分割方法及系统”(申请号为201810110876.3)，提出的利用形态学运算组合对图像进行均衡化处理,之后采用两步法Otsu双阈值分割算法对颗粒的两种特征进行提取，最后利用形态学算法对颗粒中的两部分连接合并。该方法本质上是一种阈值分割算法，对客户实际使用场景存在光线和背景的严苛限制。对于光线偏差大的场景，物体大小变化幅度大的情况，无法达到准确分割的目的，将给后期处理带来巨大的误差。

水晶体的三维重建对于测量水晶体的大小，获取形状拥有重大的意义。如专利名称为“晶体三维晶面生长动力学的立体成像测定系统及方法”(申请号为CN201310595380.3)，提出采用点与线定位方法，是所有水晶体重建需要使用的技术，不过该专利采用角/边缘/线检测技术并未具体说明，对存在多重反光、光线条件复杂的水晶体具体如何应对。

目前工业界和学术界，对于水晶体的研究确实存在严重的滞后和内容不足的情况。研究的内容少的原因之一，是由于水晶体自身存在的特殊物质形态，对光线存在多角度的反射，对目标分割和图像二维、三维重建构成了巨大的挑战。

发明内容

本发明要解决的技术问题，在于提供一种基于U-net结构的水晶体分割及定位方法、装置、设备和介质，实现了水晶体面临的光线复杂条件下的分割和定位，使得生成的水晶体分割掩码和水晶体关键点准确可靠，抗噪声能力强。

第一方面，本发明提供了一种基于U-net结构的水晶体分割及定位方法，包括：分割网络训练过程、关键点定位网络训练过程以及水晶体分割及定位方法；

所述分割网络训练过程包括：

获取设定数量的水晶体照片，对所述水晶体照片进行预处理，得到输入图像X_input，对所述输入图像X_input的水晶体区域进行分割操作，得到与所述输入图像X_input对应的分割掩码X_mask；

对所述输入图像X_input与分割掩码X_mask同时进行随机旋转操作、左右随机移动操作、上下随机移动操作或左右翻转操作，将操作后得到的输入图像X_input与分割掩码X_mask以数据对的形式作为第一训练数据；

构建第一U-net结构网络，利用所述第一训练数据对所述第一U-net结构网络进行水晶体分割模型的训练，得到分割网络；

所述关键点定位网络训练过程包括：

利用所述分割掩码X_mask对所述输入图像X_input进行分割，得到水晶体分割图像M_input，获取所述水晶体分割图像M_input中水晶体的11个关键点位置M_points；