[发明专利]一种岩石图像检索方法及其系统

说明书

本发明公开了一种岩石图像检索方法，包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；所述述深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，使网络能够主动地在空间上转换特征映射；将处理后的数据输入多粒度网络中，计算模型的总损失函数和mAP值，经过多次计算，当损失函数趋于稳定，且mAP值达到峰值时，完成深度学习网络模型的训练；本发明避免了仅利用表征对岩石图像进行分类，同时对岩石图像的细粒度特征有更精确的提取，有助于在有杂物遮挡、样本数量较少和质量较低、信息缺失等情况下提高岩石图像的检索准确率。

技术领域

本发明涉及计算机视觉技术中的图像检索领域，特别涉及一种岩石图像检索方法及其系统。

背景技术

中国拥有着963.4057万平方公里的陆地面积，有着丰富多彩的地质现象，同时也有着国家地质公园214处。然而由于地质相对专业化，大多数人缺乏基本常识，让普通人即便身处其中也无法对地质有一个具象的认识。所以岩石图像的识别与检索具有重大的意义。随着信息时代的到来以及大数据时代数据量的爆炸增长，地质工作中岩样图像的检索与管理变得尤为重要，这既方便了专业人士在海量数据中有效的检索与组织管理岩石图像，也能够为非专业人士便利，同时也为普及地质知识做出了巨大贡献。但由于岩石图像的特殊性，有效的样本较少，样本质量也偏低，这给我们工作带来了很大的难度。

近年来，随着深度学习的发展与新的神经网络的提出，并广泛的应用于图像检索领域。例如专利申请号为CN201811616888.6的《一种岩石种类智能区分识别及定位方法》公布了对多个岩石数字图像进行增强处理；用矩形框对测试集和训练集中图像中的每块岩石进行标注，并记录矩形框信息；通过基础特征提取网络对训练集中的图像进行特征提取；通过RPN网络对岩石特征图像进行区域建议提取；将处理后的训练集作为输入，采用交替训练法对FastR-CNN网络和RPN网络进行联合训练，获得训练好的网络模型；采用训练好的网络模型对待检测的原始岩石数字图像进行识别及岩石位置确定。该专利解决了现有技术不能识别多类岩石混合场景下的岩石种类和岩石定位难题，同时也提高了岩石种类识别的效率。

但是该专利仅利用岩石的表面特征进行分类，如轮廓，颜色等粗粒度特征，不能够很好的描述岩石图像深层次的语义信息；岩石图像标注的困难且数据量少导致训练的模型缺乏鲁棒性；忽略了局部特征对于整体岩性的影响。

发明内容

为解决以上现有技术的问题，本发明为一种岩石图像检索方法，包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；

所述述深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，得到什么样的数据；将处理后的数据输入多粒度网络中，计算深度学习网络模型的总损失函数，经过多次计算，当损失函数趋于稳定，mAP值无变化时，完成深度学习网络模型的训练。

优选的，深度学习网络模型的结构包括：空间转移模块、ResNet-50特征提取结构、分块特征提取结构以及分类器；所述空间转移模块显式地允许在网络中对数据进行空间变换操作；ResNet-50特征提取结构提取进行空间变换后图像的特征；分块特征提取结构将图像特征信息进行分割，进一步提取特征和计算损失函数；分类器根据损失函数的值对图像进行分类。

优选的，空间转移模块包括本地网络、网格生成器和采样器；

所述本地网络为一个子网络，包括三个卷积层和一个回归层；将数据输入到本地网络中，得到变换参数；

所述网格生成器为根据本地网络层输出的变换参数构建采样网格，输入图像中的点经过采样变换后得到采样变换图；

将采样网格得到的采样变换图和特征图同时输入采样器中，得到了采样变换后的特征图。

优选的，将处理后的数据输入多粒度网络中的过程包括：