[发明专利]针对图书馆海量数据的分布式存储管理系统

说明书

本发明公开了一种针对图书馆海量数据的分布式存储管理系统，该系统包括：平台管理层、平台配置与调度层、数据收集层、文件存储层、数据存储层、统一数据服务接口层以及大数据决策应用层；其中，所述平台管理层主要负责对大数据存储的管理工作；所述平台配置与调度层负责平台系统的参数配置和确保系统兼容性；所述数据收集层主要实现海量异构数据的收集、定义和类型划分；所述文件存储层是基于大量廉价存储服务器设备构建的支持Hadoop计算框架的分布式大数据存储子系统；所述数据存储层主要由Hcatalog、HBase以及Redis组成；所述统一数据服务接口层用于提供统一和强兼容性的大数据读写接口；所述大数据决策应用层为图书馆业务部门提供大数据分析和决策支持。

技术领域

本发明属于大数据存储技术领域，涉及一种针对图书馆海量数据的分布式存储管理系统。

背景技术

随着云计算技术、传感器网络技术、移动宽带传输技术和终端设备制造技术的发展，图书馆的服务模式和读者阅读方式发生了巨大变革，以读者为中心的个性化服务定制和服务内容的智能推送，已经成为图书馆当前的主要服务模式。

在服务模式和读者阅读方式多样化发展的同时，图书馆的用户服务数据和读者阅读相关数据快速递增，已从TB、PB量级向EB量级急速增长，图书馆已进入大数据时代。

图书馆大数据每年平均以50％的速度快速激增，其中非结构化和半结构化数据占据大数据总量的85％以上。此外，图书馆大数据决策系统对数据的存取具有高效、精准、快速和实时的要求，因此，传统的关系型数据存储系统已不能满足图书馆大数据海量、指数级增长、快速存取、高吞吐率的存储需求。

发明内容

本发明目的在于提供一种针对图书馆海量数据的分布式存储管理系统，为了克服图书馆传统关系型数据库在海量数据存储和访问效率中存在的瓶颈问题，引入Hadoop技术架构，利用图书馆传统的廉价存储服务器集群设备存储图书馆特有的半结构化与非结构化大数据，采用分布部署及就近存储原则消除因网络传输带宽不足可能带来的大数据决策瓶颈问题，有效地满足了图书馆大数据决策和用户服务对大数据存储系统的高标准要求，实现了系统的较强存储容错性、快速、经济、可扩展性、低故障率和透明存储的优点。

为解决上述技术问题，本发明采用如下的技术方案：一种针对图书馆海量数据的分布式存储管理系统，该系统包括：平台管理层、平台配置与调度层、数据收集层、文件存储层、数据存储层、统一数据服务接口层以及大数据决策应用层；其中，所述平台管理层主要负责对大数据存储安全性、运行效率、可靠性、经济性和可控性的管理工作；所述平台配置与调度层主要负责平台系统的参数配置和确保系统兼容性，并为大数据存储系统不同的结构层调度、分配系统资源；所述数据收集层主要实现结构化数据、半结构化数据和非结构化数据的收集、定义和类型划分；所述文件存储层是基于大量廉价存储服务器设备构建的支持Hadoop计算框架的分布式大数据存储子系统；所述数据存储层主要由Hcatalog、HBase以及Redis组成；所述统一数据服务接口层用于提供统一和强兼容性的大数据读写接口；所述大数据决策应用层基于大数据存储层的支持，为图书馆业务部门提供大数据分析和决策支持。

进一步地，所述数据收集层使用Sqoop工具，实现Hadoop和关系型数据库中的数据相互转移。

进一步地，所述文件存储层支持巨量大数据决策者快速并发访问、查询和下载，以及存储系统不停机动态扩容，数据正确性的自检、复制、备份和恢复。

进一步地，所述统一数据服务接口层可兼容不同设备的数据传输机制，并根据大数据决策需求提供相应的数据读取服务需求。

本发明与现有技术相比具有以下的有益效果：