[发明专利]一种运行于分布式系统的海量测序数据错误修正方法

权利要求书

1.一种运行于分布式系统的海量测序数据错误修正方法，所述分布式系统包括主节点、交换机和若干计算节点，若干计算节点通过交换机连接主节点，其特征在于：所述海量测序数据错误修正方法包括以下步骤：

1）对测序数据进行预处理，确定测序数据的分组标准；步骤1）中确定测序数据的分组标准具体包括以下步骤：

1-1，数据抽样过程：根据要处理的测序数据的特征进行数据抽样，确保抽样测序数据具有一定的代表性；

1-2，抽样测序数据聚类过程：应用序列相似性算法计算抽样测序数据各个短序列之间的相似性，应用统计方法将所述抽样测序数据分别聚为相近的类；

1-3，各类数据特征提取过程：将组成各类的测序数据进行组合和计算，提取特征用于快速判别短序列与该类之间的距离；

2）对测序数据进行分区处理，平衡分布式系统各个计算节点的负载并传送测序数据到计算节点；

步骤2）中平衡分布式系统各个计算节点的负载包括以下步骤：

2-1，确定测序数据与每一个样本聚类之间的距离，并根据计算的距离，计算每一个测序数据的归属聚类；

2-2，根据每一个聚类所拥有的测序数据数量，进行平衡负载计算；

2-3，根据平衡负载情况，分配聚类到指定计算节点；

2-4，将测序数据传送到对应的计算节点；

3）对测序数据进行分布式错误修正；

步骤3）中对测序数据进行分布式错误修正包括以下步骤：

3-1，各个计算节点中应用错误修正算法对测序数据进行处理，计算评分；

3-2，集成判定计算，将评分数据进行汇总，根据各个计算节点评分确定错误修正方案。

2.根据权利要求1所述一种运行于分布式系统的海量测序数据错误修正方法，其特征在于：步骤2-2中根据聚类测序数据数量获取聚类标准数据量，聚类标准数据量=min(各类测序数据数量差)，每一个聚类对应标准数据量=该类聚类测序数据数量/标准数据量；小数部分向上取整。

3.根据权利要求1所述一种运行于分布式系统的海量测序数据错误修正方法，其特征在于：步骤2-3中根据聚类标准数据量和计算节点的标准计算能力，进行负载平衡计算，确定聚类数据对应的计算节点，并满足1个计算节点处理1个或多个聚类对应数据，且一个聚类只能分配到一个计算节点进行计算。

4.根据权利要求1所述一种运行于分布式系统的海量测序数据错误修正方法，其特征在于：步骤2-4中测序数据传送时采用压缩算法将测序数据分别进行压缩，并加入校验码。

5.根据权利要求1所述一种运行于分布式系统的海量测序数据错误修正方法，其特征在于：步骤2）中在数据传送到各个计算节点之前，先对数据进行预先处理，并判别测序数据应传送到哪个节点。

6.根据权利要求1所述一种运行于分布式系统的海量测序数据错误修正方法，其特征在于：步骤3-1中计算节点接收到测序数据后，运行HiTEC错误修正算法对本节点测序数据进行错误识别处理，计算每一个短序列的错误可能性以及错误位置，并计算错误修正评分。

7.根据权利要求1所述一种运行于分布式系统的海量测序数据错误修正方法，其特征在于：步骤3-2中各个计算节点将序列编号作为关键值，将评分数据作为计算值，应用哈希函数再次分布到各个计算节点，同一序列的三个错误修正评分都会分布到同一个计算节点，应用选举算法算出该序列的错误修正方案，汇总确定的错误修正方案作为错误修正的结果返回。