[发明专利]基于图神经网络的多图片输入的多标签胃镜图片分类方法

说明书

本申请涉及一种基于图神经网络的多图片输入的多标签胃镜图片分类方法，属于医学图像智能处理技术领域，该方法包括：对样本数据中的多张胃镜图片进行预处理，得到预处理后的胃镜图片；获取整体标签结果之间的共现矩阵；将预处理后的胃镜图片和共现矩阵输入预设的网络模型进行训练，得到分类模型，以对输入的至少一张图片进行分类；该网络模型中的BiT‑ResNet用于提取预处理后的胃镜图片的图像特征；Attention层用于计算图像特征中各部分的权重，得到更新后的图像特征；图神经网络用于根据共现矩阵输出网络结果，网络结果和更新后的图像特征用于生成分类结果；相较于使用多个单图片单标签图片分类方法，能获得更好的分类效果。

【技术领域】

本申请涉及一种基于图神经网络的多图片输入的多标签胃镜图片分类方法，属于医学图像智能处理技术领域。

【背景技术】

随着云服务、大数据、人工智能等新技术的发展以及应用，深度学习网络逐渐被应用到图片分类、图片识别领域。深度学习网络与医疗结合，辅助医生诊疗也成了一个热门研究领域。

现有的图像识别通常用来判断单张图片是否属于某个标签类别。

然而，真实世界中，一张图片可能包含多个物体，一次需要判断的也不止一张图片。比如一次胃镜检查，就对应着多张胃镜图片的输入和多项疾病标签的输出。现有的图像识别技术可以应用于该问题，但会忽略标签间的关系，也无法很好地找到多张图片中的重点，进而影响了图像分类的性能。

【发明内容】

本申请提供了一种基于图神经网络的多图片输入的多标签胃镜图片分类方法，可以充分捕捉图片间的重点和标签间的联系，提升胃镜检查样本自动识别的准确率。本申请提供如下技术方案：

获取多组样本数据，每组样本数据包括多张胃镜图片和所述多张胃镜图片对应的整体标签结果；

对所述多张胃镜图片进行预处理，得到预处理后的胃镜图片；

获取所述整体标签结果之间的共现矩阵；

将所述预处理后的胃镜图片和所述共现矩阵输入预设的网络模型，并使用预设的损失函数和所述整体标签结果对所述网络模型进行训练，得到分类模型，所述分类模型用于对输入的至少一张图片进行分类；

其中，预设的网络模型包括BiT-ResNet、与所述BiT-ResNet相连的注意力Attention层、以及与所述Attention层相连的图神经网络；所述BiT-ResNet用于提取所述预处理后的胃镜图片的图像特征；所述Attention层用于计算所述图像特征中各部分的权重，得到更新后的图像特征；所述图神经网络用于根据所述共现矩阵输出网络结果，所述网络结果和所述更新后的图像特征用于生成分类结果。

可选地，所述对所述多张胃镜图片进行预处理，得到预处理后的胃镜图片，包括：

对所述多张胃镜图片进行缩放，得到多张预设尺寸的图片；

将多张预设尺寸的图片进行拼接；

对拼接后的得到图片数据进行标准化，得到所述预处理后的胃镜图片。

可选地，所述将所述预处理后的胃镜图片和所述共现矩阵输入预设的网络模型，并使用预设的损失函数和所述整体标签结果对所述网络模型进行训练，得到分类模型之前，还包括：

通过BiT-ResNet预训练模型初始化参数。

可选地，所述预设的网络模型还用于，将所述网络结果作为分类器向量与所述更新后的图像特征相乘，得到图片分类的概率；按照所述图片分类的概率得到所述分类结果。

可选地，将所述网络结果作为分类器向量与所述更新后的图像特征相乘，通过sigmoid函数激活得到图片分类的概率。

可选地，所述预设的损失函数通过下式表示：