[发明专利]采用3D批归一化的三维（3D）卷积

说明书

所公开的技术使用配备有所谓子网络模块的3D深度卷积神经网络体系架构(DCNNA)，其在3D放射体经受计算昂贵的操作之前对3D放射体执行降维操作。此外，子网络通过使3D数据经受不同的3D卷积层路径的并行处理而以多尺度卷积3D数据。这种多尺度操作在计算上比传统的执行串行卷积的CNN便宜。此外，通过3D批归一化(BN)进一步提高子网络的性能，所述3D批归一化将馈送到子网络的3D输入归一化，这反过来又提高了3D DCNNA的学习速率。在跨越一系列子网络模块进行几层3D卷积和3D子采样之后，从3D放射体生成具有降低垂直维度的特征图谱并且馈送到一个或更多个全连接层。

本申请是2016年8月15日提出的第201680053094.6号中国专利申请的分案申请。

优先权申请

本申请涉及并要求2015年8月15日提交的标题为“医学视觉系统(Medical VisionSystem)”的美国临时专利申请62/205,718(代理人案号SALE 1165-1/2021PR)的权益。出于所有目的，该优先权临时申请通过引用并入本文。

技术领域

公开的技术总地涉及在对3D深度卷积神经网络体系架构(DCNNA)内部的三维(3D)数据进行处理期间改进对计算资源(诸如，计算能力和存储器使用)的利用，并且具体地，涉及在卷积神经网络(CNN)中执行计算高效的3D图像分类和对象识别。

背景技术

本节中讨论的主题不应仅由于在本节中提到而被认为是现有技术。同样地，在本节中提及的问题或与作为背景提供的主题相关联的问题不应当被认为是先前在现有技术中已经认识到的。本节中的主题仅仅表示不同的方法，其本身也可以对应于所要求保护的技术的实现。

所公开的技术使得在大数据场景中(诸如医学成像)利用卷积神经网络(CNN)是可行的，其中需要用有限的存储器和计算能力来处理大量的数据。现有的深度卷积神经网络(CNN)的一个主要技术问题是对显著计算资源的需求。所公开的技术通过在3D深度卷积神经网络体系架构(DCNNA)内添加所谓的子网络来解决该技术问题，其在3D数据经受计算昂贵的操作之前对3D数据执行降维操作。此外，子网络通过使3D数据经受由不同的3D卷积层路径(例如，1×1×1卷积，3×3×3卷积，5×5×5卷积，7×7×7卷积)进行并行处理而以多尺度卷积3D数据。这种多尺度操作在计算上比执行串行卷积的传统CNN便宜。另外，通过3D批归一化(BN)进一步提高子网络的性能，所述3D批归一化使馈送到子网络的3D输入归一化，这反过来提高了3D DCNNA的学习速率。

机器学习是人工智能(AI)领域内的研究领域，其在计算机没有被明确编程的情况下给予其学习能力。与静态编程相反，机器学习使用对某些数据进行训练的算法来进行与该数据或其他数据相关的预测。深度学习是机器学习的一种形式，它通过对数据的低级分析的层来对数据进行高级抽象建模。最近，CNN在图像分类和对象识别方面取得了重大进展。通过训练多层卷积滤波器，许多机器学习工具(如支持向量机(SVM)、PCA、线性判别分析(LDA)、贝叶斯人际分类器等)的泛化能力随着训练量的增加迅速趋于饱和。但是，与传统机器学习算法相比，CNN在不同时间采用大量不同的图像训练时已显示出更好的表现。与手工制作的特征相比，CNN能够自动学习用于对象识别的复杂特征，并且实现卓越的性能。

然而，CNN需要大量的训练数据，没有这些训练数据，网络不能学习和交付令人印象深刻的识别性能。训练如此庞大的数据需要巨大的计算资源，例如数千个CPU核和/或GPU，这使得CNN的应用受到限制，并且不能扩展到移动和嵌入式计算。因此，需要提高分析大数据的计算资源的性能的CNN体系架构。

附图说明

在附图中，纵观不同的视图，相似的附图标记通常指代相似的部分。而且，附图不一定按比例绘制，而是通常将重点放在说明所公开的技术的原理上。在以下描述中，参考以下附图来描述所公开的技术的各种实现方式，其中：