[发明专利]一种基于Spark框架的重测序序列比对方法

权利要求书

1.一种基于Spark框架的重测序序列比对方法，其特征在于，包括如下步骤：

步骤S1、RDDs创建步骤，基于FASTQ文件创建相应的RDDs，并储存在HDFS中；

步骤S2、Map步骤，将BWA的序列比对算法应用到每一个RDDs上，同时RDDs进行多节点映射；

步骤S3、Reduce步骤，根据处理需求选择是否执行最后的合并阶段。

2.根据权利要求1所述的一种基于Spark框架的重测序序列比对方法，其特征在于，在步骤S1内，包括并列的步骤S101和步骤S102；步骤S101用于单端测序序列，步骤S102用于双端测序序列。

3.根据权利要求2所述的一种基于Spark框架的重测序序列比对方法，其特征在于，步骤S101、通过HDFS文件存储创建相应的RDDs，并以FASTQ文件格式的读取标识符作为RDDs中的键，形成<序列ID,序列内容>的键值对。

4.根据权利要求3所述的一种基于Spark框架的重测序序列比对方法，其特征在于，步骤S102、在HDFS上读取和写入的方式对双端数据进行预处理。

5.根据权利要求4所述的一种基于Spark框架的重测序序列比对方法，其特征在于，在步骤S102内，通过Spark驱动程序的HDFS Hadoop库直接访问FASTQ文件，完成双端序列的合并且合并成一份新的HDFS文件，并通过添加分隔符的方式来协助区分这两条序列。

6.根据权利要求5所述的一种基于Spark框架的重测序序列比对方法，其特征在于，在步骤S2内，包括步骤S201、采取双独立软件层的设计，一个用来对接BWA软件包，另一个负责处理RDDs。

7.根据权利要求6所述的一种基于Spark框架的重测序序列比对方法，其特征在于，在步骤S2内，还包括处于步骤S201之后的步骤S202、将输入数据传输进入BWA层，并从Map处采集结果。

8.根据权利要求7所述的一种基于Spark框架的重测序序列比对方法，其特征在于，在步骤S3内，根据不同的处理需求选择是否对Map处理记过执行最后的合并阶段。

9.根据权利要求3所述的一种基于Spark框架的重测序序列比对方法，其特征在于，在步骤S101内，序列内容包含与序列ID相对应的所有信息。

10.根据权利要求6所述的一种基于Spark框架的重测序序列比对方法，其特征在于，在步骤S202，映射的多节点并行及每个单映射过程的多线程并行。