[发明专利]一种冷数据全量存储和查询架构

说明书

本发明公开了冷数据存储和查询技术领域的一种冷数据全量存储和查询架构，包括HHD硬盘存储结构，分布式Hdfs文件系统和Hive数据仓库，HHD硬盘存储结构呈分布式均匀排列，分布式Hdfs文件系统为设计成适合运行在呈分布式排列的HHD硬盘存储结构，本发明将全量数据使用HDD硬盘进行保存，这样能够很好的降低硬件的使用成本。同时使用Hdfs配合Hive，这样不仅仅可以保证数据的安全和不丢失，也能够允许使用者可以通过api或者交互客户端去查询历史数据，因为历史数据的查询往往是基于时间的，或者准确的说是基于日期的。所以为了提升查询的性能，在对数据保存至Hive时，将数据按照日期进行分区和创建索引，这样可以一定程度上提升查询的性能。

技术领域

本发明涉及冷数据存储和查询技术领域，具体为一种冷数据全量存储和查询架构。

背景技术

随着业务和时间的不断发展，用户以及产品相关的数据量的持续扩大，TB级甚至PB级的数据已经十分常见了。原先的传统关系型数据库在面对如此巨大的数据量时，会极大的降低性能甚至无法使用。但如果使用现代的分布式列式存储，如Hbase，虽然确实能够将如此巨大的数据存储下来，但是由于Hbase是用于提供线上服务的高性能随机读写，所以如果将全部数据存在价格昂贵的SSD硬盘中，会导致硬件成本的巨大上涨，基于此，本发明设计了一种冷数据全量存储和查询架构，以解决上述问题。

发明内容

本发明的目的在于提供一种冷数据全量存储和查询架构，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种冷数据全量存储和查询架构，包括HHD硬盘存储结构，分布式Hdfs文件系统和Hive数据仓库，所述HHD硬盘存储结构呈分布式均匀排列，所述分布式Hdfs文件系统为设计成适合运行在呈分布式排列的HHD硬盘存储结构，且分布式Hdfs文件系统包括Hdfs文件备份系统和Hdfs文件存储系统，所述Hive数据仓库包括Hive数据查询和Hive数据存储，且Hdfs文件备份系统和Hdfs文件存储系统均能够对Hive数据存储的用户和产品数据进行交互，所述Hive数据查询包括api应用数据接口和交互式客户端。

优选的，所述分布式Hdfs文件系统放宽了POSIX的要求这样可以实现流的形式访问文件系统中的数据，所述POSIX为可移植操作系统接口。

优选的，所述Hive数据存储为对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行与维护工具和元数据管理。

优选的，所述Hdfs文件备份系统和Hdfs文件存储系统中存储数据的方式按照日期进行分组。

优选的，所述api应用数据接口为直接面向用户，含数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。

优选的，所述交互式客户端为前端和应用提供数据服务，可直接从数据仓库中获取数据供前端应用使用，也可通过OLAP服务器为前端应用提供负责的数据服务。

优选的，所述OLAP服务器为联机分析处理，能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。

与现有技术相比，本发明的有益效果是：本发明将全量数据使用HDD硬盘进行保存，这样能够很好的降低硬件的使用成本。同时使用Hdfs配合Hive，这样不仅仅可以保证数据的安全和不丢失，也能够允许使用者可以通过api或者交互客户端去查询历史数据，因为历史数据的查询往往是基于时间的，或者准确的说是基于日期的。所以为了提升查询的性能，在对数据保存至Hive时，将数据按照日期进行分区和创建索引，这样可以一定程度上提升查询的性能。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明