[发明专利]非结构化数据的管理方法及装置

说明书

本发明实施例提供一种非结构化数据的管理方法及装置，其中方法包括：根据非结构化数据的大小确定对应的存储方式，根据所述存储方式将所述非结构化数据存储到HDFS或HBase中；将所述非结构化数据的元数据存储在HBase的元数据列族中，根据所述非结构化数据的存储方式，将所述非结构化数据的文件索引存在HBase中对应的列族中；将HBase中的非结构化数据的行键以及元数据同步至Solr搜索引擎中；其中，所述元数据包括所述非结构化数据的存储方式。本发明实施例能够更高效的对数据进行精确或模糊搜索，提高整个大数据系统的运行效率。

技术领域

本发明实施例涉及文件存储技术领域，更具体地，涉及非结构化数据的管理方法及装置。

背景技术

在数据量越来越庞大的今天，使用单服务器存储海量数据已不太现实，多数公司企业都已使用HDFS分布式文件系统来存储数据文件，但HDFS面临的一个问题是无法适用于小文件存储。为了解决这个问题，通常有两种方案：

1、再使用另一类适用于小文件存储的分布式系统(如FastDFS)单独存储小文件，此方案优点是文件读写比较简单，缺点是由于管理两套系统，设备费用和管理成本都比较高。

2、在HDFS的文件系统上优化，来避免小文件存储，此方案优点是成本低，以现有方案为主，缺点是实现起来比较复杂。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的非结构化数据的管理方法及装置。

第一个方面，本发明实施例提供一种非结构化数据的管理方法，包括：

根据非结构化数据的大小确定对应的存储方式，根据所述存储方式将所述非结构化数据存储到HDFS或HBase中；

将所述非结构化数据的元数据存储在HBase的元数据列族中，根据所述非结构化数据的存储方式，将所述非结构化数据的文件索引存在HBase中对应的列族中；

将HBase中的非结构化数据的行键以及元数据同步至Solr搜索引擎中；其中，所述元数据包括所述非结构化数据的存储方式。

第二个方面，本发明实施例提供一种非结构化数据的管理装置，包括：

存储方式确定模块，用于根据非结构化数据的大小确定对应的存储方式，根据所述存储方式将所述非结构化数据存储到HDFS或HBase中；

元数据存储模块，用于将所述非结构化数据的元数据存储在HBase的元数据列族中，根据所述非结构化数据的存储方式，将所述非结构化数据的文件索引存在HBase中对应的列族中；

同步模块，用于将HBase中的非结构化数据的行键以及元数据同步至Solr搜索引擎中；其中，所述元数据包括所述非结构化数据的存储方式。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的非结构化数据的管理方法及装置，根据非结构化数据的大小确定对应的存储方式，根据所述存储方式将所述非结构化数据存储到HDFS或HBase中；将所述非结构化数据的元数据存储在HBase的元数据列族中，根据所述非结构化数据的存储方式，将所述非结构化数据的文件索引存在HBase中对应的列族中；将HBase中的非结构化数据的行键以及元数据同步至Solr搜索引擎中；其中，所述元数据包括所述非结构化数据的存储方式。本发明实施例能够更高效的对数据进行精确或模糊搜索，提高整个大数据系统的运行效率。

附图说明