[发明专利]基于Spark和SIMD的弹性分布式序列比对系统及方法

摘要

本发明公开了一种基于Spark和SIMD的弹性分布式序列比对系统，包括一个主节点和与主节点连接的多个工作节点，所述主节点用于管理元数据和集群，包括基于分布式计算框架Spark的主节点、基于分布式内存文件系统的主节点和Hadoop分布式文件系统的主节点；所述工作节点用于数据的存储和计算，包括存储层和计算层，所述存储层包括Alluxio和HDFS，所述计算层包括Spark和SIMD指令集，基于分布式计算框架Spark通过中介模块调用基于SIMD的序列比对算法进行序列比对。采用Alluxio和HDFS来分布式存储数据，采用Spark进行分布式计算，在每个节点采用SIMD技术进行序列比对，提高了性能。

主权项

一种基于Spark和SIMD的弹性分布式序列比对系统，其特征在于，包括一个主节点和与主节点连接的多个工作节点，所述主节点用于管理元数据和集群，包括基于分布式计算框架Spark的主节点、基于分布式内存文件系统Alluxio的主节点和Hadoop分布式文件系统的主节点；所述工作节点用于数据的存储和计算，包括存储层和计算层，所述存储层包括Alluxio和HDFS，所述计算层包括基于分布式计算框架Spark和SIMD指令集，基于分布式计算框架Spark通过中介模块调用基于SIMD的序列比对算法进行序列比对。