[发明专利]一种运行于分布式系统的海量测序数据错误修正方法

摘要

本发明公开一种运行于分布式系统的海量测序数据错误修正方法，所述分布式系统包括主节点、交换机和若干计算节点，若干计算节点通过交换机连接主节点，所述海量测序数据错误修正方法包括以下步骤：1）对测序数据进行预处理，确定测序数据的分组标准；2）对测序数据进行分区处理，平衡分布式系统各个计算节点的负载并传送测序数据到计算节点；3）对测序数据进行分布式错误修正。本发明所述方法与集中式系统相比，在处理海量测序数据方面具有速度快，精度高，以及成本低等优势。

主权项

1.一种运行于分布式系统的海量测序数据错误修正方法，所述分布式系统包括主节点、交换机和若干计算节点，若干计算节点通过交换机连接主节点，其特征在于：所述海量测序数据错误修正方法包括以下步骤：1）对测序数据进行预处理，确定测序数据的分组标准；步骤1）中确定测序数据的分组标准具体包括以下步骤：1‑1，数据抽样过程：根据要处理的测序数据的特征进行数据抽样，确保抽样测序数据具有一定的代表性；1‑2，抽样测序数据聚类过程：应用序列相似性算法计算抽样测序数据各个短序列之间的相似性，应用统计方法将所述抽样测序数据分别聚为相近的类；1‑3，各类数据特征提取过程：将组成各类的测序数据进行组合和计算，提取特征用于快速判别短序列与该类之间的距离；2）对测序数据进行分区处理，平衡分布式系统各个计算节点的负载并传送测序数据到计算节点；步骤2）中平衡分布式系统各个计算节点的负载包括以下步骤：2‑1，确定测序数据与每一个样本聚类之间的距离，并根据计算的距离，计算每一个测序数据的归属聚类；2‑2，根据每一个聚类所拥有的测序数据数量，进行平衡负载计算；2‑3，根据平衡负载情况，分配聚类到指定计算节点；2‑4，将测序数据传送到对应的计算节点；3）对测序数据进行分布式错误修正；步骤3）中对测序数据进行分布式错误修正包括以下步骤：3‑1，各个计算节点中应用错误修正算法对测序数据进行处理，计算评分；3‑2，集成判定计算，将评分数据进行汇总，根据各个计算节点评分确定错误修正方案。