[发明专利]BigBase高通量大数据在线分析软硬件一体机

摘要

BigBase高通量大数据在线分析软硬件一体机是一款share-nothing架构基于列式存储技术、适用于大规模结构化数据存储和在线分析、覆盖数据采集/处理/分析和服务全生命周期的软硬件一体化设备。主要有多索引列技术，服务端计算技术，资源隔离技术，类SQL查询语言和标准的JDBC接口技术，高通量数据导入技术，访问控制技术和硬件透明压缩技术等技术的专用软硬件一体机。

主权项

一种BigBase高通量大数据在线分析软硬件一体机，是一款share‑nothing架构[9]基于列式存储技术、适用于大规模结构化数据存储和在线分析、覆盖数据采集/处理/分析和服务全生命周期的软硬件一体化设备，解决了硬件的压缩性高容量存储和软件信息的海量存储与在线分析的难题，其特征在于：软硬件一体，硬件压缩整合技术，在软件方面，量身定做的BigBase系统以Apache HDFS[6]作为数据存储所使用的分布式文件系统，以Apache HBase[7]为核心，以Apache Zookeeper[8]做HBase相关节点、数据等的管理工作，在此基础上，对HBase进行了大量的改进和增强工作，增加了多索引列、服务端计算、性能隔离、批量导入、访问控制、标准化接口等一系列功能，可以支持超大规模数据资产的可靠存储和低响应时间的数据查询统计分析等应用，在硬件设备方面，本产品提供专用的硬件服务器和硬件数据压缩加速卡以实现性能的进一步优化，结合行业用户的不同需求，配备了专用的一体化硬件平台，该平台采用一体化服务器，在与通用服务器相同大小的2U空间中集成了4个计算单元，机架空间占用量为普通服务器的25％，耗电量为普通服务器的40％。