[发明专利]一种分布式基因大数据存储平台在审
申请号: | 201810024030.4 | 申请日: | 2018-01-14 |
公开(公告)号: | CN110120247A | 公开(公告)日: | 2019-08-13 |
发明(设计)人: | 陈墩金;祁建明;周峻松;徐继峰 | 申请(专利权)人: | 广州明领基因科技有限公司 |
主分类号: | G16B30/00 | 分类号: | G16B30/00;G16B50/00;H03M7/30;H03M7/40 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 510610 广东省广州市天河区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种分布式基因大数据存储平台,涉及基因大数据压缩平台领域,该平台将输入FASTQ数据分割成元数据、碱基和质量分数三个数据流,并根据它们自身特点分别独立地压缩:去除元数据流中的重复片段并使用LZMA算法进行压缩;对质量分数流使用游程编码和算术编码压缩;使用匹配工具BWA将短读与参考基因组比对,提取比对结果中的碱基流表达信息并使用LZMA算法、游程编码、算术编码进行压缩;最后采用分布式框架将数据放在不同的数据节点中存储,既保证了数据的可靠性,同时增加了数据的安全性。该平台针对DNA序列本身具有的冗余性进行压缩,减少了压缩所需的存储空间。 | ||
搜索关键词: | 压缩 大数据 存储平台 算术编码 游程编码 质量分数 碱基 基因 分布式框架 数据流 比对结果 表达信息 成元数据 存储空间 匹配工具 数据分割 数据节点 元数据流 基因组 冗余性 比对 去除 存储 参考 重复 保证 | ||
【主权项】:
1.一种分布式基因大数据存储平台,其特征在于:所述平台包括数据读取模块、数据压缩模块、数据存储模块;所述数据读取模块用于读取DNA测序仪得到的FASTQ数据;所述数据压缩模块用于将FASTQ数据分割成元数据、碱基和质量分数三个数据流,并采用不同的压缩算法进行数据压缩;所述数据存储模块用于将压缩后的数据采用分布式的存储方式存入数据库。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州明领基因科技有限公司,未经广州明领基因科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810024030.4/,转载请声明来源钻瓜专利网。