[发明专利]基于多模态密集融合传递的婴儿脑组织分割智能识别方法

说明书

本发明公开了一种基于多模态密集融合传递的婴儿脑组织分割智能识别方法，涉及深度学习领域。本发明主要包括构建卷积神经网络，其中特征编码包括两个孪生网络，网络框架采用ResNet34架构，使用5个卷积块组成的卷积神经网络特征提取部分，且编码阶段在每两个相邻的卷积块之间部署多模态融合探索模块，用来探索更有效的融合特征；特征解码阶段同样包括5个卷积块，且每两个相邻的卷积块之间部署特征增强模块来对融合特征进行增强处理；同时编码过程中，5个卷积块采用密集连接的方式逐层向上传递，以实现高层监督底层的效果，最后输出婴儿脑组织分割图。本发明提高了婴儿脑组织分割智能辅助诊疗的效率和准确度。

技术领域

本发明涉及深度学习领域，更具体的说是涉及一种基于多模态密集融合传递的婴儿脑组织分割智能识别方法。

背景技术

近年来，人工智能和计算机视觉的技术正在迅速崛起，并且随着互联网的发展带来了巨量的数据用于实际应用，从海量的图像和视频数据中快速获取关键信息已成为计算机视觉领域的关键问题。在这其中，医学影像分析越来越受到人们的关注。利用核磁共振成像，可以收集到婴儿脑组织影像。利用这些数据结合计算机视觉技术，就可以在生命健康领域上大展身手。

理想的智能辅助诊疗需要对脑组织有正确的视觉理解。利用深度学习方法，婴儿脑组织分割智能辅助诊疗任务被定义为像素级语义分割问题，可以直接进行像素级别端到端(end-to-end)的语义理解。

因此，如何实现理想的正确视觉理解是本领域技术人员亟需研究的。

发明内容

有鉴于此，本发明提供了一种基于多模态密集融合传递的婴儿脑组织分割智能识别方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于多模态密集融合传递的婴儿脑组织分割智能识别方法，包括以下步骤：

获取训练集，所述训练集包括第一核磁共振成像和第二核磁共振成像；

构建卷积神经网络，所述卷积神经网络利用多模态深度融合，密集提取多样化的融合信息；

将所述训练集输入到所述卷积神经网络中，多次训练得到卷积神经网络模型；

将待分割影像输入到所述卷积神经网络模型中，得到分割灰度图。

可选的，还包括采用损失函数对卷积神经网络进行损失计算，所述损失函数采用二元交叉熵损失BCE。

可选的，在所述卷积神经网络的编码阶段，采用的数据集是双模态数据集；其中每个模态的特征编码阶段的第1个卷积块、第2个卷积块、第3个卷积块、第4个卷积块和第5个卷积块依次连接；还设置有四个多模态深度融合探索模块，其中第1个多模态深度融合探索模块部署在第1个卷积块、第2个卷积块之间，第2个多模态深度融合探索模块部署在第2个卷积块、第3个卷积块之间，第3个多模态深度融合探索模块部署在第3个卷积块、第4个卷积块之间，第4个多模态深度融合探索模块部署在第4个卷积块、第5个卷积块之间。

可选的，在所述卷积神经网络的解码阶段，第6个卷积块、第7个卷积块、第8个卷积块、第9个卷积块和第10个卷积块依次连接；还设置有四个特征增强模块，其中，第6个卷积块、第7个卷积块之间设置有第1个特征增强模块，第7个卷积块、第8个卷积块之间设置有第2个特征增强模块；第8个卷积块、第9个卷积块之间设置有第3个特征增强模块；第9个卷积块、第10个卷积块之间设置有第4个特征增强模块。

可选的，所述多模态深度融合探索模块的输入端输依次连接到第一像素相加层，第一卷积层，密集卷积层，第二像素相加层；其中所述第一像素相加层与所述第二像素相加层连接；所述第二像素相加层分别输入到所述第三像素相加层，均值化层以及最大化层；所述均值化层和所述最大化层均输入到拼接层，其中拼接层，第二卷积层，第三卷积层以及第三像素相加层依次连接；所述第三像素层的输出作为最终输出。