[发明专利]基于计算机视觉的舌裂纹形状识别方法及识别系统

说明书

本发明公开了一种基于计算机视觉的舌裂纹形状识别方法，包括以下步骤：步骤1，舌裂纹的检测和标注；步骤2，舌裂纹的形状识别和标注。本发明将深度学习与传统图像处理方法有机地融合在一起，能够提高舌裂纹特征提取和识别的精确度，能够实现舌裂纹的客观评价，填补了现有技术仅仅提取裂纹特征而无法实现舌裂纹客观评价的空缺。本发明还公开了一种基于计算机视觉的舌裂纹形状识别系统。

技术领域

本发明涉及一种图像处理方法，具体涉及一种基于计算机视觉的舌裂纹形状识别方法。本发明还涉及一种基于计算机视觉的舌裂纹形状识别系统。

背景技术

中医舌诊是一种通过观察舌体的生理与病理学形态来发现人体脏腑病理生理变化的诊察方法。医生通过对舌象的观察，能够对患者的病情作出相应的诊断和评估，在传统中医学中具有重要的价值。经过长期的临床实践，证明舌诊能够准确地辨别出病变部位和疾病的严重程度。而舌象中的舌裂纹是舌诊中的重要组成部分，舌裂纹的有无以及舌裂纹的形状能够反映人体维生素的缺乏情况和消化系统的健康情况，舌裂纹种类大致可以分为纵形、横形、爻字形，以及辐射状、脑回状、鹅卵石状等。中医已经获得舌裂纹的种类与人体的健康状况的关系，所以明确辨别出舌裂纹的种类，对中医问诊有极大好处。

目前，有关舌裂纹的研究方法可分成两大类。第一类方法是传统图像处理技术，具体又分为两种，一种是基于舌图像的灰度、色彩信息对舌裂纹进行阈值分割，但并未考虑舌裂纹特征，因而难以精确、完整地分割出舌裂纹；另一种是基于线侦测方法对舌裂纹进行分割，还可以分成3个小类，即基于轮廓的分割方法、基于中心线的分割方法以及基于区域的分割方法。虽然基于线侦测的方法考虑了舌裂纹的纹理特征，但都存在一定程度的不足，例如：基于轮廓的分割方法采用的是一阶导数，对噪声敏感，而且在实际应用中往往得不到闭合的轮廓；基于中心线的分割方法一般采用的是二阶导数，同样对噪声敏感，而且中心线位置的提取往往存在较大误差；而基于区域的分割方法往往会将舌苔上的粗纹理、伪裂纹也分割出来，需要手动去除多余纹理、才能分割出裂纹。

第二类方法是基于深度学习的技术，但是现有基于卷积神经网络的舌裂纹特征提取技术，过多依赖于卷积神经网络的设计和训练，往往忽略了传统图像处理技术在舌裂纹中的广泛应用。因此所获得的舌裂纹特征对于中医问诊很难有准确的参考价值。

发明内容

本发明所要解决的技术问题是提供一种基于计算机视觉的舌裂纹形状识别方法，它可以实现对舌裂纹的形状进行客观评价。

为解决上述技术问题，本发明基于计算机视觉的舌裂纹形状识别方法的技术解决方案为，包括以下步骤：

步骤1，舌裂纹的检测和标注；

检测舌裂纹，对输入舌图中的裂纹进行初步特征提取，获取并标注局部裂纹的边界框，得到无标注局部裂纹图；

在另一实施例中，进一步地，所述步骤1包括以下步骤：

步骤1.1，通过舌图采集设备采集不少于N万张原始舌图，采用人工标注的方式在原始舌图上标注出裂纹的边界框信息，该裂纹为原始裂纹；将标注有原始裂纹边界框信息的标注舌图文件进行保存；将标注舌图随机划分为裂纹检测训练集和裂纹检测验证集；再采集不少于M万张无标注的原始舌图；其中，M＞N；

步骤1.2，搭建基于深度学习的裂纹检测训练模型；

在另一实施例中，所述步骤1.2中的裂纹检测训练模型采用efficientdet结构，并使用bifpn搭建多尺度特征金字塔。

步骤1.3，对所述裂纹检测训练模型进行模型训练，得到训练完成的裂纹检测模型；

进一步地，所述步骤1.3的模型训练包括以下步骤：

步骤1.3.1，利用所述步骤1.1所得的裂纹检测训练集，对所述步骤1.2搭建的基于深度学习的裂纹检测训练模型进行训练，并利用步骤1.1所得的裂纹检测验证集进行验证，得到检测模型；