[发明专利]基于自监督神经网络的显微结构图像识别方法及装置

权利要求书

1.一种基于自监督神经网络的显微结构图像识别方法，其特征在于，包括以下步骤：

利用ImageNet图像数据集对自监督神经网络中的卷积网络进行预训练；

对数据库A中所有的标准显微结构图进行批量的预处理，使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取，得到特征向量集合，将所述特征向量集合存入具有自定义的HDF5特征向量存储结构的数据库B中；

对待识别显微结构图进行预处理，使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取，得到特征向量V；

计算特征向量V与数据库B中所有特征向量的相似度，根据所述相似度进行升序排序，得到最接近特征向量V的k个特征向量，将所述K个特征向量映射到数据库A中，得到数据库A中对应的k个标准显微结构图；

统计所述k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称，同时，将排序第一的标准显微结构图作为与待识别显微结构图最相似的标准显微结构图。

2.根据权利要求1所述的一种基于自监督神经网络的显微结构图像识别方法，其特征在于，所述“使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取”之前，先对预训练好的卷积网络进行训练，训练集采用不同旋转角度的标准显微结构图，所述卷积网络通过学习标准显微结构图中的位置、类型和姿态，得到具有判别信息的特征向量。

3.根据权利要求1所述的一种基于自监督神经网络的显微结构图像识别方法，其特征在于，所述卷积网络包括通道注意力机制层，所述通道注意力机制层的输入是经过卷积层得到的尺寸为H×W×C的特征图，所述H×W×C特征图经过一层全局平均池化层得到尺寸为1×1×C的张量，所述1×1×C张量经过一层激活函数为ReLU的全连接层得到尺寸为的张量，所述张量经过一层激活函数为Sigmoid的全连接层得到尺寸为1×1×C的张量，将所述全连接层得到的尺寸为1×1×C张量中的C个元素与尺寸为H×W×C的特征图的C个通道对应的二维特征图进行逐元素相乘，得到了一个经过通道加权的尺寸为H×W×C的特征图。

4.根据权利要求1所述的一种基于自监督神经网络的显微结构图像识别方法，其特征在于，所述具有自定义的HDF5特征向量存储结构的数据库B的文件结构包括标准显微结构图Group和含有元数据的特征向量Dataset，所述标准显微结构图Group是一种容器结构，包含N个特征向量Dataset和其他Group，所述含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)，所述元数据存放的是特征向量Dataset对应的标准显微结构图的存储路径字符串。

5.一种基于自监督神经网络的显微结构图像识别装置，其特征在于，所述装置包括：

卷积网络预训练模块，用于利用ImageNet图像数据集对自监督神经网络中的卷积网络进行预训练；

标准显微结构图特征提取和存储模块，用于对数据库A中所有的标准显微结构图进行批量的预处理，使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取，得到特征向量集合，将所述特征向量集合存入具有自定义的HDF5特征向量存储结构的数据库B中；

待识别显微结构图特征提取模块，用于对待识别显微结构图进行预处理，使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取，得到特征向量V；

特征向量相似度获取模块，用于计算特征向量V与数据库B中所有特征向量的相似度，根据所述相似度进行升序排序，得到最接近特征向量V的k个特征向量，将所述K个特征向量映射到数据库A中，得到数据库A中对应的k个标准显微结构图；

待识别显微结构图确定模块，用于统计所述k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称，同时，将排序第一的标准显微结构图作为与待识别显微结构图最相似的标准显微结构图。

6.根据权利要求5所述的一种基于自监督神经网络的显微结构图像识别装置，其特征在于，所述标准显微结构图特征提取和存储模块中所述具有自定义的HDF5特征向量存储结构的数据库B的文件结构包括标准显微结构图Group和含有元数据的特征向量Dataset，所述标准显微结构图Group是一种容器结构，包含N个特征向量Dataset和其他Group，所述含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)，所述元数据存放的是特征向量Dataset对应的标准显微结构图的存储路径字符串。