[发明专利]基于多视角多模态的乳腺能谱图像分类系统、设备及介质

权利要求书

1.基于多视角多模态的乳腺能谱图像分类系统，其特征是，包括：

获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；

预处理模块，其被配置为：对获取的每个乳腺能谱图像进行预处理；

特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；

特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果。

2.如权利要求1所述的系统，其特征是，所述获取模块，其被配置为：获取多视角多模态的若干个乳腺能谱图像；多视角多模态，是指：两种视角两种模态的乳腺能谱图像。

3.如权利要求2所述的系统，其特征是，所述两种视角两种模态的乳腺能谱图像，包括：同侧乳腺的CC位能谱低能图像、同侧乳腺的MLO位的能谱低能图像、同侧乳腺的CC位能谱对比增强图像和MLO位的能谱对比增强图像；采用在同一侧乳腺不同拍摄视角的图像或采用同侧乳腺不同模态的图像，能够提高图像的分类精度。

4.如权利要求1所述的系统，其特征是，所述预处理模块，包括：

图像裁剪子模块，其被配置为：对获取的每个乳腺能谱图像进行裁剪，得到裁剪后的乳腺能谱图像；

图像增强子模块，其被配置为：对裁剪后的乳腺能谱图像进行图像增强处理；

图像归一化子模块，其被配置为：对图像增强后的图像进行图像归一化处理；

尺度调整子模块，其被配置为：对图像归一化处理后的图像进行尺度调整处理。

5.如权利要求4所述的系统，其特征是，所述图像裁剪子模块，其被配置为：对获取的每个乳腺能谱图像进行裁剪，得到裁剪后的乳腺能谱图像；具体是指：

将每个乳腺能谱图像转换成灰度图像；

对每一幅灰度图像，判断每一列的像素值是否是全部黑色背景，如果某一列为全部黑色背景，则将该列裁剪掉；

或者，

所述图像增强子模块，其被配置为：对裁剪后的乳腺能谱图像进行图像增强处理；图像增强处理所采用的方式为：对裁剪后的乳腺能谱图像进行旋转、翻转、平移、增加噪声或增加对比度；

或者，

所述图像归一化子模块，其被配置为：对图像增强后的图像进行图像归一化处理；是指对增强后的图像进行全局对比度归一化处理；

或者，

所述尺度调整子模块，其被配置为：对图像归一化处理后的图像进行尺度调整处理；具体步骤包括：

将归一化之后的图像调整到224×224像素大小，以满足分类网络的输入要求。

6.如权利要求4所述的系统，其特征是，所述特征提取模块，其被配置为：对预处理后的每个乳腺能谱图像进行特征提取；所述特征提取采用多层卷积神经网络来进行；对每个乳腺能谱图像进行特征提取。

7.如权利要求4所述的系统，其特征是，所述特征提取模块之后，所述特征分类模块之前，还包括：特征融合模块；所述特征融合模块，用于对同侧乳腺两个视图和两种模态的特征进行特征融合；

将同侧乳腺两个视角两种模态的能谱图像的图像特征进行融合，具体方法为：将同侧乳腺提取的CC位能谱低能图像特征F_LCC、MLO位能谱低能图像特征F_LMLO、同侧乳腺提取的CC位能谱对比增强图像特征F_DCC、MLO位能谱对比增强图像特征F_DMLO进行融合，得到一侧乳腺能谱的双视角双模态的图像特征。

8.如权利要求4所述的系统，其特征是，所述特征分类模块，其被配置为：将提取的特征输入到分类器中，输出图像分类结果；分类器是预训练的分类器，其预训练的步骤包括：

构建神经网络模型；

构建训练集、验证集和测试集；所述训练集、验证集和测试集中均包含已知乳腺良性或恶性分类结果的乳腺能谱图像的特征；

基于训练集、验证集和测试集，对神经网络模型进行训练，得到训练好的分类器。