[发明专利]基于时空记忆网络的甲状腺视频流结节识别系统

权利要求书

1.基于时空记忆网络的甲状腺视频流结节识别系统，其特征在于，包括：

图像获取模块，用于实时获取甲状腺临床超声检查中视频流，进行分帧处理；

结节坐标获取模块，用于将完成图像预处理的当前帧和历史帧图像输入到结节检测模型中，得到结节坐标；其中，取第k帧图像作为当前帧，当k5时从k之前的图像帧中随机采样M帧作为历史帧；

结节分类模块，用于根据结节坐标从整图中截取结节ROI图像，将历史帧结节图像输入到时空记忆网络进行编码存储，将当前帧结节图像输入到时空记忆网络进行编码，并读取历史帧结节信息进行融合，然后进行结节性质分类，该时空记忆网络综合考虑历史帧结节信息与当前帧结节信息；

结果匹配模块，用于根据所述结节检测模型的输出确定所述待测超声图像帧的结节坐标，完成对所述待测超声图像帧中的结节的检测；根据所述时空记忆网络的输出确定所述待测超声图像帧的结节性质分类，得到当前帧的结节识别结果。

2.根据权利要求1所述的甲状腺视频流结节识别系统，其特征在于，所述图像获取模块包括预处理子模块，该预处理步骤包括：

将待测超声图像帧调整到设定的尺寸；

裁掉待测超声图像中的无关区域，仅保留超声窗口区域；

对待测超声图像帧进行直方图均衡化；

对待测超声图像帧进行归一化，得到完成图像预处理的所述待测超声图像帧。

3.根据权利要求1所述的甲状腺视频流结节识别系统，其特征在于，还包括：

样本数据集构建模块，样本数据集包括若干段甲状腺区域的超声检查视频流，每个样本超声图像帧中包括结节标注框，所述结节标注框用于标注样本超声图像中的结节位置以及类型，所述样本数据集的样本超声图像中包括多种不同位置和/或类型的结节；

模型训练模块，用于利用所述样本数据集训练结节检测模型和时空记忆网络，得到最终推理模型。

4.根据权利要求3所述的甲状腺视频流结节识别系统，其特征在于，所述模型训练模块训练所述结节检测模型的步骤包括：

利用ImageNet数据集对结节检测模型backbone部分进行预训练；

使用预训练好的网络参数初始化结节检测模型backbone部分，并利用所述样本数据集进行迁移学习得到所述结节检测模型；

所述模型训练模块训练所述时空记忆网络的步骤包括：

利用ImageNet数据集对时空记忆网络backbone部分进行预训练；

使用预训练好的网络参数初始化时空记忆网络backbone部分，并利用所述样本数据集进行迁移学习得到所述时空记忆网络。

5.根据权利要求3所述的甲状腺视频流结节识别系统，其特征在于，所述模型训练模块将所述样本数据集划分为训练集、验证集和测试集，利用所述训练集中的样本超声视频对结节检测模型和时空记忆网络进行训练，利用所述验证集中的样本超声视频对训练的超参数进行优化得到所述结节检测模型和时空记忆网络，并利用测试集中的样本超声视频对训练得到的结节检测模型和时空记忆网络进行测试；

所述样本数据集的样本超声视频中包括至少两种不同尺寸范围的结节，训练集中的样本超声视频包括的各种尺寸范围的结节的数量差在设定误差范围内。

6.根据权利要求2所述的甲状腺视频流结节识别系统，其特征在于，所述结节检测模型使用YoLo-v5网络；所述时空记忆网络从输入到输出依次包括特征提取单元、记忆存储单元、记忆读取单元和分类单元；其中，

所述特征提取单元用于对完成图像预处理的结节图像进行特征提取并输出特征图；

所述记忆存储单元用于将M个历史帧结节特征图进行编码映射并保存；

所述记忆读取单元用于读取存储的M个历史帧结节信息，并与当前帧结节信息进行结合，得到结合后的特征；

所述分类单元用于使用分类器基于结合后的特征对结节进行良恶性分类。