[发明专利]高通量测序数据质量过滤方法和过滤装置

说明书

本发明公开了一种对高通量测序数据进行质量过滤的方法和装置，所述方法包括：根据所述高通量测序数据为并行计算做准备；通过并行计算过滤掉准备好的数据中质量不达标的数据。确定质量转换方式；数据切分；生成并行计算的执行实体。将第一文件和第二文件分别转换为第一RDD和第二RDD；将第一RDD和第二RDD分别切分为第一partition组和第二partition组；将第一RDD和第二RDD合并为第三RDD；将第三RDD切分为第三partition组。生成对第三partition组进行并行计算的执行实体task。采用本发明的技术方案，能够大大提高对高通量测序数据进行质量过滤的执行速度。

技术领域

本发明涉及生物和计算机领域，特别涉及通过大数据技术对高通量测序数据进行质量过滤的方法和装置。

背景技术

基于高通量测序数据寻找和致病基因、癌症治疗、个性化用药相关的染色体突变位点为临床应用提供了不可估量的前景。由于测序技术的不断进步，获取到的数据越来越多，如何快速地处理不断增加的高通量测序数据已成为亟待解决的问题。

在获取到高通量测序数据后，需要对原始数据进行过滤，将低质量的数据过滤掉，保留高质量的数据进行下一步处理。目前常用的过滤软件Trime对1.1G X 2的高通量测序数据进行双端过滤需要九分钟以上，随着数据的不断增大，质量过滤需要的时间也越来越长。如何缩短质量过滤消耗的时间，让高质量的数据尽快地进入下游的分析环节，从而缩短科研人员、患者等待分析结果的时间，已成为亟待解决的问题。

发明内容

有鉴于此，本发明基于分布式计算框架提供了一种对高通量测序数据进行质量过滤的方法和装置，能够将低质量的数据过滤掉，与以往的过滤方法相比，大大提升了处理速度。

本发明的实施例提供了一种对高通量测序数据进行质量过滤的方法，所述方法包括：

根据所述高通量测序数据为并行计算做准备；

通过并行计算过滤掉准备好的数据中质量不达标的数据。

优选地，所述根据所述高通量测序数据为并行计算做准备包括：

根据所述高通量测序数据中的质量数据确定质量转换方式；

对已确定质量转换方式的高通量测序数据进行切分；

生成对切分后的数据进行并行计算的执行实体。

优选地，所述对已确定质量转换方式的高通量测序数据进行切分包括：

将包含已确定质量转换方式的高通量测序数据的第一文件和第二文件分别转换为各自对应的第一RDD和第二RDD；

将第一RDD和第二RDD分别切分为各自对应的第一partition组和第二partition组；

根据第一文件和第二文件中对应的数据将第一RDD和第二RDD合并为第三RDD；

将第三RDD切分为第三partition组。

优选地，所述生成对切分后的数据进行并行计算的执行实体为：生成对第三partition组进行并行计算的执行实体task。

优选地，其特征在于，所述通过并行计算过滤掉准备好的数据中质量不达标的数据包括：

根据预定质量值阈值和质量值转换方式通过执行实体对所述高通量测序数据并行地进行过滤；

根据预定序列长度阈值通过执行实体对保留下来的高通量测序数据并行地进行过滤。

优选地，所述根据预定质量值阈值、所述质量值转换方式对所述高通量测序数据进行过滤包括：