[发明专利]基于时空记忆网络的甲状腺视频流结节识别系统

说明书

本发明公开了一种基于时空记忆网络的甲状腺视频流结节识别系统，包括图像获取模块、结节坐标获取模块、结节分类模块和结果匹配模块。该系统将甲状腺超声视频流数据输入到结节检测模型中，提取结节位置坐标，根据结节坐标从超声视频帧中截取结节ROI区域，将截取的ROI图像Resize到固定尺寸后输入到时空记忆网络中。该时空记忆网络对历史帧结节进行空间特征提取，然后对该特征进行编码存储；进行当前帧诊断时，该网络先将当前帧结节特征进行提取、编码，然后将存储的历史帧结节特征读取并与当前帧结节特征结合，判断当前帧结节的良恶性。本发明避免了单帧图像诊断造成的误差，有效提高视频诊断准确率及诊断结果一致性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于时空记忆网络的甲状腺视频流结节识别系统。

背景技术

甲状腺癌近年发病率不断提高，早发现与早治疗是提高甲状腺癌患者存活率的重要手段。超声检查具有无痛苦、无电离辐射、经济适用、实时成像等优点，适合甲状腺常规普查。临床上，超声灰阶图像能反映出结节形态、病变方向、病变界限及边缘等特征。同时也有成像质量差、差异性大等特有的缺点。近年来，深度学习已经成为最主要的机器学习工具，广泛应用于各个研究领域。在医学超声图像分析中，深度学习也展示了巨大的潜力，通过深度学习技术开发自动化超声图像分析方法来帮助医生进行超声诊断，一方面可以减轻医生的负担，另一方面可以降低诊断的主观性，从而使得诊断更加客观与准确。

目前已有很多运用深度学习方法在医疗图像上进行辅助诊断的技术，尤其在针对CT，核磁图像的应用，如肺结节筛查，血管分割等。现有技术方案中，大多方法基于静态图片进行分析，对于超声视频数据的应用很少，主要原因为超声检查视频数据质量较差，且图像内容、病灶大小、形态、纹理等特征会随着操作医师的手法变化而变化，不利于神经网络提取病灶显著特征，从而导致同一病灶，不同视频帧模型判断结果不一致的情况出现。

发明内容

本发明的目的是提供一种基于时空记忆网络的甲状腺视频流结节识别系统，以解决基于静态图片进行分析甲状腺结节时难以提取病灶显著特征、从而导致同一病灶，不同视频帧模型判断结果不一致的技术问题。

本发明的技术方案如下：

基于时空记忆网络的甲状腺视频流结节识别系统，包括：

图像获取模块，用于实时获取甲状腺临床超声检查中视频流，进行分帧处理；

结节坐标获取模块，用于将完成图像预处理的当前帧和历史帧图像输入到结节检测模型中，得到结节坐标；其中，取第k帧图像作为当前帧，当k5时从k之前的图像帧中随机采样M帧作为历史帧；

结节分类模块，用于根据结节坐标从整图中截取结节ROI图像，将历史帧结节图像输入到时空记忆网络进行编码存储，将当前帧结节图像输入到时空记忆网络进行编码，并读取历史帧结节信息进行融合，然后进行结节性质分类，该时空记忆网络综合考虑历史帧结节信息与当前帧结节信息；

结果匹配模块，用于根据所述结节检测模型的输出确定所述待测超声图像帧的结节坐标，完成对所述待测超声图像帧中的结节的检测；根据所述时空记忆网络的输出确定所述待测超声图像帧的结节性质分类，得到当前帧的结节识别结果。

优选的，所述图像获取模块包括预处理子模块，该预处理步骤包括：

将待测超声图像帧调整到设定的尺寸；

裁掉待测超声图像中的无关区域，仅保留超声窗口区域；

对待测超声图像帧进行直方图均衡化；

对待测超声图像帧进行归一化，得到完成图像预处理的所述待测超声图像帧。

进一步的，本系统还包括：

样本数据集构建模块，所述样本数据集包括若干段甲状腺区域的超声检查视频流，每个样本超声图像帧中包括结节标注框，所述结节标注框用于标注样本超声图像中的结节位置以及类型，所述样本数据集的样本超声图像中包括多种不同位置和/或类型的结节；