[发明专利]高通量测序数据质量过滤方法和过滤装置

权利要求书

1.一种对高通量测序数据进行质量过滤的方法，其特征在于，所述方法包括：

根据所述高通量测序数据为并行计算做准备；

通过并行计算过滤掉准备好的数据中质量不达标的数据；

根据所述高通量测序数据中的质量数据确定质量转换方式；

对已确定质量转换方式的高通量测序数据进行切分；

生成对切分后的数据进行并行计算的执行实体；

所述对已确定质量转换方式的高通量测序数据进行切分包括：

将包含已确定质量转换方式的高通量测序数据的第一文件和第二文件分别转换为各自对应的第一RDD和第二RDD；

将第一RDD和第二RDD分别切分为各自对应的第一partition组和第二partition组；

根据第一文件和第二文件中对应的数据将第一RDD和第二RDD合并为第三RDD；

将第三RDD切分为第三partition组；

所述生成对切分后的数据进行并行计算的执行实体为：生成对第三partition组进行并行计算的执行实体task；如果第一文件和第二文件中一一对应的两个记录中的质量行某一位置及该位置以前的质量数据的质量值均大于等于预定质量值阈值，且这两个一一对应的记录中的序列行的碱基数均大于等于预定序列长度阈值，那么满足上述条件的高通量测序数据的记录称为质量达标；

第一文件和第二文件中的记录是一一对应的，每一个记录包括四行，其中序列行由A、T、G、C四种碱基组成；质量行中每一位置上的质量数据为该位置的碱基质量值的ASCII码表示方式，质量行和序列行长度相等；

第一RDD和第二RDD中的记录也是一一对应的， 而在通过并行计算对数据进行质量过滤时，需要同时遍历第一RDD和第二RDD中对应的记录，在进行并行计算以前，根据其中一一对应的记录，将第一RDD和第二RDD合并为第三RDD。

2.根据权利要求1所述的对高通量测序数据进行质量过滤的方法，其特征在于，所述通过并行计算过滤掉准备好的数据中质量不达标的数据包括：

根据预定质量值阈值和质量值转换方式通过执行实体对所述高通量测序数据并行地进行过滤；

根据预定序列长度阈值通过执行实体对保留下来的高通量测序数据并行地进行过滤。

3.根据权利要求2对高通量测序数据进行质量过滤的方法，其特征在于，所述根据预定质量值阈值、所述质量值转换方式对所述高通量测序数据进行过滤包括：

如果所述高通量测序数据某一记录中的质量行中的某一位置上的质量值小于预定质量值阈值，则通过执行实体并行地过滤掉所述质量行该位置及以后的数据，以及同一记录中的序列行中的对应位置及以后的数据。

4.根据权利要求3对高通量测序数据进行质量过滤的方法，其特征在于，所述根据预定序列长度阈值对保留下来的高通量测序数据进行过滤包括：

在保留下来的高通量测序数据中，如果第一文件和第二文件相对应的两个记录中有任意一个记录中的序列行长度小于预定长度阈值，则通过执行实体并行地过滤掉第一文件和第二文件中相对应的这两个记录。