[发明专利]对3D图像中对象进行检测的方法、计算机存储介质和系统

说明书

本发明提供一种对3D图像中对象进行检测的方法、计算机存储介质和系统。所述方法包括以下步骤：利用处理器，使用3D学习网络基于3D图像得到一组特征映射，每个特征映射针对相应的对象尺寸，特征映射的栅格表示所述3D图像中与该栅格对应的区域内包含相应尺寸的对象的概率相关参数；利用处理器，基于对应于同个区域的栅格，来确定该区域中包含的对象的尺寸；以及利用处理器，将所确定的对象的位置从特征映射的第一坐标系转换到3D图像的第二坐标系中，以得到所述第二坐标系中各个尺寸的对象的定位。本发明能够充分考虑3D空间信息，有助于改善医生的效率、减少对象的漏检率和由于混淆不同类型的对象所导致的错检率，且能够加快检测速度。

技术领域

本发明涉及图像处理领域，具体涉及一种对3D图像中的对象进行检测的方法、计算机存储介质和系统。

背景技术

诸如容积CT扫描的成像手段会得到数量可观的2D图像，在日常肺部放射科工作中，放射科医师通常对所得到的数百幅2D图像进行筛选，以识别出对象(例如病灶、器官、组织、血管等)。为了将不同对象区分开，通常医师需要来回观察相邻的2D图像，来近乎在头脑中重建3D空间关系，或者观察矢状或冠状视图(较低分辨率)以作参考。目前使用计算机辅助方法来试图改善放射科医师的效率并减少其工作量，并引入了学习网络比如卷积神经网络来进行图像的分割，这些学习神经网络通常是2D网络。

发明内容

本发明人发现，放射科医师的筛选工作因为缺乏3D空间信息，受医师的专业水平和人为判断影响较大，筛选质量不稳定；并且来回观察相邻的2D图像、在头脑中重建3D空间关系的操作，是沉闷乏味、耗时长且容易出错的。对于空间想象能力较差的医师，操作难度更大，更易出错。在2D图像中，不同的对象可能呈现出类似的形状，以肺部CT扫描的2D图像为例，血管的截面是圆形或椭圆形的，肺结节是肺中的高密度肿块，两者在2D图像中看起来相似，极大地增加了错检率，也增加了医师的工作难度和强度。

本发明人还发现，例如2D卷积神经网络的2D网络的构建和训练没有考虑到3D空间信息，因此不能受益于3D空间信息对不同类型的对象进行准确区分。很多情况下，为了准确区分对象，3D空间信息是非常重要的。

但是很多技术问题阻碍了3D学习网络的应用，3D学习网络相较现有的2D学习网络至少存在以下技术难题：高维度，容易产生过拟合；3D数据、特征映射及相关的运算导致计算资源消耗很大，现在GPU往往不够用；计算耗时较多，给临床运用造成了障碍。这些挑战导致了现有技术对3D卷积网络在3D图像中对象的检测上的应用讨论较少。

本发明旨在提供一种计算机实现的对3D图像中的对象进行自动检测的方法、计算机存储介质和系统，其能够以端到端的方式实现从3D图像到不同尺寸的对象在3D图像中的自动化检测。

根据本发明的第一方案，提供一种计算机实现的对3D图像中对象进行检测的方法，其特征在于，所述方法包括以下步骤：

利用处理器，使用3D学习网络基于所述3D图像得到一组特征映射，每个特征映射针对相应的对象尺寸，所述特征映射的栅格表示所述3D图像中与该栅格对应的区域内包含相应尺寸的对象的概率相关参数；

利用处理器，基于对应于同个区域的栅格，来确定该区域中包含的对象的尺寸；以及

利用处理器，将所确定的对象的位置从特征映射的第一坐标系转换到3D图像的第二坐标系中，以得到所述第二坐标系中各个尺寸的对象的定位。

优选地，所述3D学习网络是3D卷积网络。

优选地，所述3D图像是完整的3D图像。

优选地，所述3D图像是3D图像的部分。

优选地，所述方法还包括：将为3D图像的各个部分得到的对象的检测结果进行拼合。

优选地，使用3D学习网络基于所述3D图像得到一组特征映射的步骤包括：