[发明专利]基于舌图像的消化道疾病判断辅助系统

权利要求书

1.一种基于舌图像的消化道疾病判断辅助系统，其特征在于，包括：

舌图像采集部，其用于采集完整舌图像；

舌特征处理部，其用于提取完整舌图像的舌特征并生成舌特征文本描述，基于加载的预料库生成当前舌特征文本描述的词袋，计算出相应舌图像对应的舌特征文本描述的TF-IDF向量；舌特征包括舌乳头、舌色、舌形、舌苔、苔质、苔色和苔型；

消化道疾病判断部，其用于计算当前完整舌图像对应的舌特征文本描述的TF-IDF向量与各类消化道疾病对应的舌图像描述特征向量的距离，按照距离升序对消化道疾病类型排序，筛选出排在前k个消化道疾病并进行推荐，其中，k为大于或等于1的正整数；

在所述消化道疾病判断部中，各类消化道疾病对应的舌图像描述特征向量的计算过程为：

从数据库中调取消化道疾病内镜诊断报告，每个消化道疾病内镜诊断报告均与舌特征文本描述相关联；利用诊断报告的文本分类模型得到相应消化道疾病内镜诊断报告所对应的消化道疾病类型，进而得到各类消化道疾病对应的舌特征文本描述；基于加载的预料库生成当前舌特征文本描述的词袋，进而计算出所有舌特征文本描述对应的TF-IDF向量，进而生成文档向量矩阵，对文档向量矩阵降维后聚类得到各类消化道疾病对应的舌图像描述特征向量；

在所述舌图像采集部中，采用soft-MTCNN网络模型来检测舌图像中的舌关键点，以保证舌图像的完整性；

所述soft-MTCNN网络模型由串联连接的PNet网络、RNet网络和ONet网络构成；所述PNet网络的输入量为舌图像，其输出结果为判断舌图像中包含舌的概率并标记所有可能的舌边界框；所述RNet网络的输入量为PNet网络的输出结果，RNet网络的输出结果为存在舌的舌边界框；所述ONet网络的输入量为RNet网络的输出量，ONet网络的输出结果为舌关键点及其位置信息；

其中，基于深度学习构建舌图像生成舌特征文本描述，其过程为：舌图像经过图像的Resize操作后，经过EfficientNet-B7进行特征提取，提取的特征经过拉直运算和线性操作后作为多层LSTM的输入，由多层LSTM输出舌图像特征的文本描述。

2.如权利要求1所述的基于舌图像的消化道疾病判断辅助系统，其特征在于，消化道疾病内镜诊断报告以图像形式存储在数据库内。

3.如权利要求1所述的基于舌图像的消化道疾病判断辅助系统，其特征在于，所述舌关键点的数量为五个均位于舌轮廓线上，这五个舌关键点由两个舌根关键点、两个舌腰关键点和一个舌尖关键点构成。