[发明专利]基于迁移学习的胶囊内窥镜图像分类系统及方法

权利要求书

1.一种基于迁移学习的胶囊内窥镜图像分类系统，其特征在于：包括图像预处理模块(1)、相似图像去除模块(2)、图像分类模块(3)和关键图像定位模块(4)；

所述图像预处理模块(1)用于去除图像亮度均值在预设图像亮度阈值以外的胶囊内窥镜图像，并利用图像亮度标准差和图像亮度梯度去除没有细节的胶囊内窥镜图像；

所述相似图像去除模块(2)用于对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像；

所述图像分类模块(3)用于将经所述图像预处理模块(1)和所述相似图像去除模块(2)处理后的胶囊内窥镜图像按对应的解剖学结构进行图片分类，并得到按时间顺序排列的分类后的胶囊内窥镜图像序列；

所述关键图像定位模块(4)用于在按时间顺序排列的分类后的胶囊内窥镜图像序列中确定并标记各个特定解剖学结构图像第一张出现的位置；

所述相似图像去除模块(2)对预处理后的所有图像利用光流方法去除相似性图像的具体方法为：

在当前胶囊内窥镜图像的图像有效区域内设置K个特征点；

对下一张胶囊内窥镜图像的亮度进行调整，将其亮度均值调整到与所述当前胶囊内窥镜图像的亮度均值相同；

在所述下一张胶囊内窥镜图像的图像有效区域内，将所述当前胶囊内窥镜图像的特征点位置设为初始位置，利用光流方法，在所述初始位置周围寻找所述当前胶囊内窥镜图像中每个特征点的最佳匹配位置；

给每个特征点的最佳匹配位置分配一个权值，统计所有特征点的最佳匹配位置的权值和，该权值和为图像匹配权值W，利用所述图像匹配权值W去除相似性图像；

当所述图像匹配权值W小于图像匹配权值阈值Wth、或找到最佳匹配位置的特征点个数P小于特征点匹配个数阈值Pth时，判定对应的胶囊内窥镜图像不相似，否则判定对应的胶囊内窥镜图像相似；

当所述当前胶囊内窥镜图像的第i个特征点邻域内的标准差S_i大于邻域内是否有细节阈值AStd时，判定第i个特征点邻域内有细节，则第i个特征点的匹配权值为u；否则，第i个特征点的匹配权值为v。

2.根据权利要求1所述的胶囊内窥镜图像分类系统，其特征在于：所述图像预处理模块(1)用于计算胶囊内窥镜图像中图像有效区域内的亮度均值M，当所述图像亮度均值M小于图像亮度过暗阈值Low时，判定对应的胶囊内窥镜图像过暗，将其去除；当所述图像亮度均值M大于图像亮度过亮阈值High时，判定对应的胶囊内窥镜图像过亮，将其去除。

3.根据权利要求1所述的胶囊内窥镜图像分类系统，其特征在于，所述图像预处理模块(1)还用于计算胶囊内窥镜图像有效区域内的图像亮度标准差S和图像亮度梯度G，并统计所述图像亮度梯度G满足条件的像素个数B，当所述图像亮度标准差S小于图像亮度标准差阈值Std、或所述像素个数B小于有效梯度个数阈值GradNum时，判定对应的胶囊内窥镜图像没有细节，将其排除。

4.根据权利要求1所述的胶囊内窥镜图像分类系统，其特征在于，所述相似图像去除模块(2)在当前胶囊内窥镜图像有效区域内设置的K个特征点是均匀设置的。

5.根据权利要求1所述的胶囊内窥镜图像分类系统，其特征在于：所述图像分类模块(3)包括预置图像数据模型模块、迁移学习模型模块和人工特征提取模块；

经过所述图像预处理模块(1)和所述相似图像去除模块(2)处理后的胶囊内窥镜图像，通过预置图像数据模型模块得到第一图像数据特征，所述第一图像数据特征经所述迁移学习模型模块得到第二图像数据特征，同时通过人工特征提取模块得到第三图像数据特征，将所述第二图像数据特征与所述第三图像数据特征融合得到图像分类数据特征，并对所述图像分类数据特征按特定的解剖学结构进行图像分类。

6.根据权利要求5所述的胶囊内窥镜图像分类系统，其特征在于，所述第三图像数据特征包含图像颜色、纹理和梯度特征，所述图像颜色特征利用HSV各个通道的Hu矩阵计算得到，所述图像纹理特征利用CLPB直方图计算得到。