[发明专利]一种基于卷积神经网络的三维颗粒类别检测方法及系统

说明书

本发明提出一种基于卷积神经网络的三维颗粒类别检测方法和系统，包括：构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。

技术领域

本发明属于结构生物学冷冻电子断层成像技术领域，并特别涉及一种基于卷积神经网络的三维颗粒类别检测方法及系统。

背景技术

冷冻电子断层技术配合子区域平均技术可以获得更高分辨率的生物大分子的原位结构，其中的一个关键步骤是从电子断层重构中挑选大量的三维颗粒，目前挑选三维颗粒的方法分为手工挑选和自动挑选两大类。

一些软件包提供了从电子断层三维重构的视图中手工挑选的功能。通常做法是,在垂直于z轴的投影平面上选取颗粒中心点，在该点所在YZ截面和XZ 截面中进一步标记颗粒的三维坐标，可以通过对电子断层重构进行滤波、去噪和增强对比度等操作以提高颗粒挑选的准确率。一套电子断层重构图像中存在着成千上万的颗粒，因此手工挑选是费时费力的，并且会受到研究人员主观判断的影响。

自动颗粒挑选分为基于模板匹配的方法和不依赖模板的方法，前者更为常见。模版匹配通过计算模版和待匹配局部图像的互相关值，来确定匹配的程度，超过阈值的对象被视为颗粒。模版可以是结构简单的三维体，可以是经过低通滤波的已知结构，也可以是人工挑选以生成的初始模型。为了对模版匹配的结果进一步优化，基于支持向量机的方法被提出。该方法首先利用模版匹配产生候选对象，计算它们的相应特征，再使用SVM对候选对象进行二分类，该方法的特征构造会对结果产生很大影响。不依赖模板的方法有基于高斯差分图像变换的方法，该方法对两个高斯滤波后的图像做减法得到新的密度图，峰值表示潜在的颗粒，该方法的效果很依赖高斯差分变换的缩放因子的大小。

近几年，基于深度学习的三维挑颗粒方法得到发展，包括基于2.5维神经网络模型的方法和基于三维神经网络模型的方法。基于2.5维神经网络模型的方法将电子断层重构视为垂直z轴的一系列切片，所有的卷积操作都是在二维进行的。对某张切片的预测过程是，向网络输入当前切片及其相邻的几张切片，输出当前切片的分割结果。该方法没有充分利用z方向上的特征，只考虑了相邻几张切片的关联。基于三维神经网络模型的方法直接对电子断层重构的子区域进行预测，所有操作在三维上进行。该方法的模型参数庞大，往往需要大量的数据和时间进行模型训练。此外，基于深度学习的颗粒分类方法也被提出。通常使用深度学习的三维分类模型对颗粒进行预测，由于网络的输入尺寸是固定的，因此任何大小的待颗粒都需要被缩放到统一尺寸才能输入网络。

由于冷冻电子断层重构中存在着成千上万的三维颗粒，要处理如此大数量级的颗粒图像，研究人员也需要花费大量时间去进行人工标注，而标注工作是主观的，每个研究人员的标注结果往往会有差别。

模板匹配的方法不能挑选结构未知的生物大分子，也不利于结构变异性高的蛋白质(例如蛋白酶体)的识别，同时高对比度特征的干扰会出现假阳性匹配，此外还需要人为交互来设置相关阈值。

基于支持向量机的方法对模版匹配的候选对象进行二分类，忽略了那些没有被模版匹配检测到的颗粒，而且很难构造出具有普适性的特征以很好地应对不同成像条件下的不同种类的生物大分子，此外对每一种类别的生物大分子都需要从头训练一个分类器。

基于高斯差分图像变换的方法很依赖高斯差分变换的缩放因子的大小，需要不断尝试不同的参数组合以保证能最大程度地识别各种大小和形状的颗粒，因此处理新的数据时需要对参数进行调整。以上所有这些方法都没有利用高通量冷冻电子断层数据收集的优势。