[发明专利]基于时空注意力模型的多相期CT图像分类系统及构建方法

说明书

本发明公开了一种基于时空注意力模型的多相期CT图像分类系统及构建方法，本发明系统包括数据获取单元、第一嵌入层网络单元、空间注意力单元、第二嵌入层网络单元、时间注意力单元和分类层单元。其中通过嵌入层单元将多相期CT图像向量化，随后使用空间注意力单元提取空间特征，并把多相期CT图像的空间特征合并后输入到时间注意力单元，得到具有空间特征和时间特征的向量，通过分类层单元完成分类。本发明采用了注意力机制，并分离了空间和时间特征，更关注CT图像中的重点部分，同时能将各个相期的CT图像全局联系起来，减少了计算冗余，提升了分类效率和精度，对于通过多相期CT图像进行分类的医学诊断更具有适应性，且具有更高的实用性。

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于时空注意力模型的多相期CT图像分类系统及构建方法。

背景技术

CT(Computed Tomography)，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，随着治疗方法的改进，CT图像扫描应用在各类肿瘤（如肝癌）的诊断也越来越普及，能够快速发现肿瘤的部位、大小和范围，可直接观察到病变内是否有坏死、出血等改变，并且可发现是否有肿瘤转移等情况，提高了肿瘤的检出率。

尽管CT平扫可以快速地发现病变，甚至检查出一些疾病，但是有些病变如血管畸形、早期癌症和转移瘤等无法通过CT平扫诊断出来。为了提高病变的显示率、确定病灶的范围和临床分期，需要用到增强CT扫描。以颅脑CT检查为例，平扫CT诊断的准确率为82%，增强扫描的准确率则上升到92%－95%，可见增强CT对提高诊断率很有帮助。CT增强扫描一般是通过静脉注射造影剂，目前常用的静脉注射方法分为两种，一种是人工手推注射，一种是采用高压注射器进行注射。注射造影剂后，增强CT能够比平扫CT提供更多的信息，可观察到动脉期、门静脉期、延迟期的血液流动，对诊断非常有帮助。不同亚型肿瘤的治疗方案各不相同，目前，多相增强CT已成为术前诊断肿瘤亚型的重要工具。

深度学习应用在医学图像处理也是一个大的方向，它被引入机器学习使其更接近于最初的目标——人工智能，并学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术，在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。随着深度学习的发展，卷积神经网络在不断地更新迭代，在图像识别方面得到越来越多的应用，具有不需要过多人工干预，能够自动提取图像特征且学习能力强等优点，尤其在癌症分类和病变检测等医学图像分析任务中表现出了极具竞争力的性能。

然而，恶性肿瘤的鉴别诊断仍具有挑战性，术前误诊可能会误导治疗决策，肿瘤成像报告和数据系统的日益复杂使得其在大容量实践中的实施变得不太可行，使得需要扩大对计算决策支持工具的临床需求，以提高工作效率，虽然传统卷积神经网络在CT图像的局部特征提取方面有一定优势，能够快速地检查病灶情况，但是无法利用增强CT的多个相期图像，会使得时间上的信息联系减弱，信息利用不完全，影响最后的诊断结果。

中国专利申请CN110443268A公布了一种基于深度学习的肝癌CT图像良性恶性分类方法，该方法在现有Resnet34网络模型的基础上进行设计改造，选取病人肝部信息最大切片，通过数据处理与增强，放入模型后进行分类。然而，由于CT图像是3D形状，该方法提取到的空间特征不完全，且未考虑到多相期CT图像的情况，不能有效地结合病人多个相期的病变进行处理，使诊断结果准确精度下降。