[发明专利]BigBase高通量大数据在线分析软硬件一体机

权利要求书

1.一种BigBase高通量大数据在线分析软硬件一体机，是一款share-nothing架构[9]基于列式存储技术、适用于大规模结构化数据存储和在线分析、覆盖数据采集/处理/分析和服务全生命周期的软硬件一体化设备，解决了硬件的压缩性高容量存储和软件信息的海量存储与在线分析的难题，其特征在于：软硬件一体，硬件压缩整合技术，在软件方面，量身定做的BigBase系统以Apache HDFS[6]作为数据存储所使用的分布式文件系统，以Apache HBase[7]为核心，以Apache Zookeeper[8]做HBase相关节点、数据等的管理工作，在此基础上，对HBase进行了大量的改进和增强工作，增加了多索引列、服务端计算、性能隔离、批量导入、访问控制、标准化接口等一系列功能，可以支持超大规模数据资产的可靠存储和低响应时间的数据查询统计分析等应用，在硬件设备方面，本产品提供专用的硬件服务器和硬件数据压缩加速卡以实现性能的进一步优化，结合行业用户的不同需求，配备了专用的一体化硬件平台，该平台采用一体化服务器，在与通用服务器相同大小的2U空间中集成了4个计算单元，机架空间占用量为普通服务器的25％，耗电量为普通服务器的40％。

2.根据权利要求1所述的BigBase高通量大数据在线分析软硬件一体机，其特征是：适应大规模结构化数据的存储和随机在线读写场景；数据节点不存在单点失效，扩展性好；数据规模上升时，通过添加对应数量的数据节点，性能基本不变；HDFS保证数据可靠性；支持软件或者硬件的方式对数据进行压缩和解压缩；支持多个索引列；支持在服务端进行统计计算，支持sum、avg、sort等所有常见统计算子；一套系统可以同时支撑多个应用，且性能相互不受影响；支持文件数据的批量导入；用户按权限访问各自的数据；支持Web界面、Shell、API等多种访问方式；支持类SQL查询语句。

3.根据权利要求1所述的BigBase高通量大数据在线分析软硬件一体机，其特征是：独有的多索引列技术：多索引列可以解决诸如HBase等当前主流的列簇式NoSQL数据库系统在多列查询上的功能缺失和性能低下的问题，解决了原有HBase只能有一个索引列的问题，增加了多索引列的支持，任何列都可以作为索引列，大大提升了系统的查询速度。

4.根据权利要求l所述的BigBase高通量大数据在线分析软硬件一体机，其特征是：独有的服务端计算技术：利用数据服务器的计算能力，将查询结果的计算直接放到数据服务器上进行，一方面避免了把大量数据发送到客户端，只需把计算结果返回即可；另一方面又充分利用了数据服务器的计算能力，提升了运算效率，提高了硬件资源的利用率，目前支持所有常见的运算符，包括排序、总数、去重总数、求和平均、分组、区间，上述运算符还可以进行组合使用。

5.根据权利要求1所述的BigBase高通量大数据在线分析软硬件一体机，其特征是：独有的资源隔离技术：通过在一个集群内将数据服务器和数据库表动态划分为不同的组，同时支持对数据服务器和数据库表进行性能的平衡，从而保证不同组可以获得相应的性能保证，使得系统能够以一个集群支持多个不同的应用，并且应用之间不会相互影响性能。

6.根据权利要求1所述的BigBase高通量大数据在线分析软硬件一体机，其特征是：透明硬件压缩技术：BigBase高通量大数据在线分析软硬件一体机针对很多行业对数据膨胀率的严格要求，开发了强大的软硬件压缩技术，除了可以采用软件的方式对数据进行压缩和解压缩外，还自主研发了专用的硬件数据压缩卡，实现了数据的硬件透明压缩和解压缩，平均数据压缩率达到了20％，大大降低了数据存储空间，有效地提升了系统的数据写入和统计查询的速度。

7.根据权利要求1所述的BigBase高通量大数据在线分析软硬件一体机，其特征是：专用的一体化硬件平台：BigBase高通量大数据在线分析软硬件一体机除了支持在通用的商业服务器上部署和使用外，还针对软件的特点，结合行业用户的不同需求，配备了专用的一体化硬件平台，该平台采用一体化服务器，在与通用服务器相同大小的2U空间中集成了4个计算单元，机架空间占用量为普通服务器的25％，耗电量为普通服务器的40％，经过一系列的改进和调试，目前已经和BigBase的软件部分完美融合，其技术和性能都达到国际上最先进水平，同时满足了节能、环保、高效的需求。