[发明专利]基于分布式图模型的流式细胞计数据自动门控方法

摘要

本发明公开了一种基于分布式图模型的流式细胞计数据自动门控方法，将分布式技术应用于流式细胞计数据的门控计算；对于图模型所有按元素操作的执行并行化计算，提高程序执行性能；基于随机投影树的kNN搜索策略，降低构造图的时间到线性复杂度；Spark的分布式存储方式可以处理更大规模的数据集。利用随机投影树加快了kNN的搜索效率；对于边权值的操作进行了并行化；割图算法采用了并行化的社群划分算法。本发明通过分布式计算框架实现对流式细胞计数据的门控过程进行基于图模型的聚类分析，对原始数据进行自动的划分，从而提升数据分析效率和准确度，降低划分过程的重复劳动和人为主观因素。

主权项

1.一种基于分布式图模型的流式细胞计数据自动门控方法，其特征在于，该方法包括以下步骤：1)根据GraphLab框架将输入的细胞计数据文件变换为RDD类型，得到流式细胞计数据X＝{x₁,x₂,...,x_N}；2)输入流式细胞计数据X＝{x₁,x₂,...,x_N}、邻域大小k、随机重复的次数r；N为数据点个数；输出C＝{c₁,c₂,...,c_N}，代表每个数据点被分配到的标签，即门控后的结果；3)基于随机投影树和GraphLab框架分布式构造kNN图：在Gather阶段，每个线程上随机生成若干超平面v，将每个数据点视为节点，本线程上的节点x选择满足最远点距离要求x·v≤median({z·v:z∈S}+δ)的节点自动成为邻居，在Scatter阶段节点x与邻居节点之间的边的权值为1，与非邻居节点之间的边的权值为0，当发现每个节点邻居个数达到k时，自动跳出，从而构建得到kNN图；S为节点的集合，δ为任意常数，median()表示取中值；为了达到需要的精度，反复执行2‑3次，取图的交集以保证准确度，得到最终的kNN图；4)通过GraphLab框架的Gather阶段遍历每一个节点x的所有边；通过GraphLab框架的Scatter阶段，根据所有的和该节点连接的节点，即该节点的邻域V_k(x)计算Jaccard系数J_k(x_i,x_j)，将kNN图变成带权值图；5)对得到的带权值图执行图割算法，得到一次划分C＝{c₁,c₂,...,c_N}和目标函数Q值，Q值的计算如公式(2)：其中，J代表整幅带权值图的权值，δ(c_i,c_j)表示delta函数，当输入相等取1，否则取0；deg(v_i)代表节点i的度，本模型中没有负权值，m表示带权值图中边的权值之和的1/2；6)重复r次步骤4)，选择r次中最大Q值对应的C作为门控后的结果。