[发明专利]一种FASTQ文件压缩中的碱基序列编码方法和系统

说明书

本发明属于生物信息数据处理技术领域，涉及一种FASTQ文件压缩中的碱基序列编码方法和系统，S1对待编码碱基序列的简并碱基信息进行编码；S2判断待编码碱基序列是否存在接头序列，若存在所述接头序列则对所述接头序列进行编码；S3将待编码碱基序列与参考序列进行比对，若所述待编码碱基序列与参考序列比对成功，则将所述待编码碱基序列的比对信息进行编码；S4若所述待编码碱基序列与参考序列比对失败，则对所述待编码碱基序列进行熵编码。其通过尽量降低接头序列、简并碱基、低质量碱基给序列比对和熵编码带来的负面影响，从而提高了比对率和熵编码的压缩率。

技术领域

本发明是关于一种FASTQ文件压缩中的碱基序列编码方法和系统，属于生物信息数据处理技术领域。

背景技术

自DNA测序技术诞生以来，测序数据不断增长，且增长速度越来越快，随着测序数据的积累，数据管理成本不断提升，包括存储成本和传输成本，因此需要将测序数据进行数据压缩以降低成本。

作为通用的基因组数据存储格式，FASTQ文件负责存储核酸序列和相应测序质量分数，其以四行为单位表示一个短读序列，每一个短读序列包括了标识符、碱基序列以及测序质量值，标准的FSATQ格式文件结构如下：

@SRR001666.1 071112_SLXA-EAS1_s_7:5:1:817:345length＝36

GGGTGATGGCCGCTGCCGATGGCGTCAAATCCCACC

+

IIIIIIIIIIIIIIIIIIIIIIIIIIIIII9IG9IC

其中，第一行和第三行为标识符，第一行以@开头，后面跟随着这条短读序列的标识符，第三行以+开头，后面可以跟随着同样的标识符，也可以不跟随其他内容。第二行为碱基序列，通常是由ACGTN组成的字符串，极少数情况下会出现其他字符。第四行为测序质量值，长度与第二行相同，指代每个碱基的测序可信度，有两种质量值系统，分别从！和@开始，范围都是40个字符左右。

碱基序列包括单端序列(Single-end sequencing)和双端序列，双端序列包括Paired-end sequencing和mate-paired sequencing；对于单端测序，单次测序只会产生单个FASTQ文件，而对于双端测序，单次测序会产生一对FASTQ文件，这两个文件的行数相等，每一对FASTQ文件在文件位置上都是一一对应的，且在基因组上的位置也是相邻的。

最早的压缩方法是使用压缩工具进行压缩，如gzip,bzip2等，这种通用工具由于对FASTQ格式的特征利用不足，因此压缩率并不理想。在这之后，出现了专门压缩FASTQ文件的工具，但起初算法策略并不统一，比如SeqDB和G-SQZ都选择了将碱基序列和测序质量值结合编码的做法。SeqDB用一个字节来同时存碱基和测序质量值的组合；G-SQZ以碱基，测序质量值为单位，在统计频率之后进行了零阶霍夫曼编码。由于这种策略的压缩率很差，因而很快被摒弃，另一种将FASTQ文件中的碱基序列、ID和测序质量值三个信息流独立压缩的做法成为了主流。

沿袭这种框架的开源工具很多，但算法不一而足。详细而言，FASTQ文件中的ID和测序质量值基本都采用熵编码，也即利用信息之间的相似性进行去冗余，但碱基序列的压缩则比较复杂，在熵编码之外，因为有参考序列(常见为基因组序列)的存在，许多碱基序列能够比对到基因组上的相应序列，因而可以被参考序列中的比对信息替换。这类开源工具中表现较为出色的有quip，fqzcomp，DSRC和LFQC等。

现有技术FASTQ文件压缩过程中，在处理碱基序列方面，主要分为两种，一种是无需外部参考序列的方法，另一种是基于外部参考序列进行序列比对的方法。