[发明专利]基于深度神经网络的US-CT图像分割方法及装置

说明书

本申请提供了一种基于深度神经网络的US‑CT图像分割方法及装置，方法包括：从获取的视频流数据中抽取一帧图像数据进行预处理后存入raw_img寄存器中；从raw_img寄存器中获取存储的一帧图像数据并利用预先构建的推理模型进行推理得到推理结果；对所述推理结果进行后处理后显示输出。本申请实现了一个小型、灵活、可扩展的深度学习推理框架，该框架支持任意类型的模型，任意结构的模型，可以完成分类、检测和分割任务，可以在本机或者在服务器上推理，可以推理图片、视频文件、网络视频或摄像头。

技术领域

本申请属于深度学习技术领域，具体地讲，涉及一种基于深度神经网络的US-CT图像分割方法及装置。

背景技术

科研机构的研究人员对深度学习图像算法的优化与创新已经取得了十分令人瞩目的成绩。例如，Auto-DeepLab中，研究人员利用神经结构搜索方法和多尺度的空洞卷积，将语义分割成绩提高到新的水平。EfficientDet中，研究人员通过格子搜索的方法，找到了不同量级模型的分辨率、通道数和深度的最优匹配，将目标检测成绩和推理阶段的计算效率提高到新的水平。YOLOv4中，研究人员对现有的大多数先进方法进行实验，提高目标检测成绩的同时，训练难度大大降低，将推理阶段的计算效率提高到新的水平。

然而，前沿算法的实际应用仍然是十分具有挑战性的工作，原因有三。第一，深度学习技术往往需要较大的硬件开销，推理速度慢，给实际应用带来困难。第二，实验室场景过于简单理想化，不符合实际应用场景。第三，实际应用场景复杂多变，给实际开发带来困难。

针对这些问题，Nvidia公司提出并实现了自己的解决方案——DeepStream，如图1所示。DeepStream提供了视频流推理的解决方案，采集器（摄像头、网络或本地视频文件）将像素级的视频流数据传送给解码模块，解码后的数据经过CUDA预处理，TensorRT推理后重新编码，将推理结果和原始图像进行融合，发送给显示设备显示最终结果。

Google公司提出并实现了自己的解决方案——TensorFlowLite，如图2所示。TensorFlowLite是一种用于设备端（如手机）推断的开源深度学习框架，其主要工作流程包括4步：①选择新模型或重新训练现有模型。②使用TensorFlowLiteConverter将TensorFlow模型转换为压缩平面缓冲区。③获取压缩的.tflite文件，并将其加载到移动设备或嵌入式设备中。④通过将 32 位浮点数转换为更高效的 8 位整数进行量化，或者在GPU 上运行。

Nvidia的DeepStream完善了其GPU产品的生态圈，其样例也展示了很好的效果。但是其提供的样例模型种类十分稀少且模型结构固定，其底层代码不开源且难以修改，用户社区并不活跃，以上问题极大提高了DeepStream二次开发的成本。Google的TensorFlowLite完善了其TensorFlow的生态圈，加上Google本身是安卓的设计者，其安卓手机端的推理框架毋庸置疑。但是，它只支持自家的TensorFlow模型，不能支持现在最热门的Torch模型，TensorFlow的版本兼容性十分不友好，在训练和转换模型过程中会出现各种错误。最后，TensorFlowLite官方示例固定单一，需要JAVA团队开发新的APP。以上便是TensorFlowLite存在的问题。

目前需要一个小型、灵活、可扩展的深度学习推理框架，该框架支持任意类型的模型（pth,tflite,ckpt,h5），任意结构的模型（VGG,ResNet,DenseNet），可以完成分类、检测和分割任务，可以在本机或者在服务器上推理，可以推理图片、视频文件、网络视频或摄像头。

发明内容

本申请提供了一种基于深度神经网络的US-CT图像分割方法及装置，以至少解决现有的深度学习推理框架体型较大且不易灵活扩展的问题。

根据本申请的一个方面，提供了一种基于深度神经网络的US-CT图像分割方法，包括：