[发明专利]非结构化数据的管理方法及装置

权利要求书

1.一种非结构化数据的管理方法，其特征在于，包括：

根据非结构化数据的大小确定对应的存储方式，根据所述存储方式将所述非结构化数据存储到HDFS或HBase中；

将所述非结构化数据的元数据存储在HBase的元数据列族中，根据所述非结构化数据的存储方式，将所述非结构化数据的文件索引存在HBase中对应的列族中；

将HBase中的非结构化数据的行键以及元数据同步至Solr搜索引擎中；其中，所述元数据包括所述非结构化数据的存储方式；

所述存储方式包括序列化存储、单独存储以及合并存储；

其中，所述序列化存储为将非结构化数据进行序列化操作，并将操作后的文件存储在HBase中；

所述合并存储为将若干个非结构化数据进行合并，并将合并后的文件存储在HDFS中；

所述单独存储为将所述非结构化数据直接存储在HDFS中；

所述根据非结构化数据的大小确定对应的存储方式，根据所述存储方式将所述非结构化数据存储到HDFS或HBase中，具体为，

若所述非结构化数据的大小小于第一阈值，将所述非结构化数据以序列化存储的方式进行存储；

若所述非结构化数据的大小大于所述第一阈值且不大于第二阈值，则将同样满足大小大于所述第一阈值且不大于第二阈值的多个非结构化数据以合并存储的方式进行存储；

若所述非结构化数据的大小大于所述第二阈值，则将所述非结构数据以单独存储的方式进行存储。

2.根据权利要求1所述的非结构化数据的管理方法，其特征在于，所述将HBase中的非结构化数据的行键以及元数据同步至Solr搜索引擎中，之后还包括：

设置查询条件，所述查询条件为所述元数据；

根据所述查询条件查询Solr搜索引擎；

若Solr搜索引擎搜索到与所述查询条件对应的行键以及存储方式，则根据所述存储方式读取所述非结构化数据。

3.根据权利要求2所述的非结构化数据的管理方法，其特征在于，所述根据所述非结构化数据的存储方式，将所述非结构化数据的文件索引存在HBase中对应的列族中，具体为：

若所述非结构化数据的存储方式为序列化存储，则将所述非结构化数据的二进制内容作为所述非结构化数据的文件索引，存储在HBase中的序列化存储列族中；

若所述非结构化数据的存储方式为合并存储，则将合并后的文件在HDFS中的存储路径以及所述非结构化数据在合并文件中的偏移量和字节数作为所述非结构化数据的文件索引，存储在HBase中的合并存储列族中；

若所述非结构化数据的存储方式为单独存储，则将所述非结构化数据在HDFS中的存储路径作为所述非结构化数据的文件索引，存储在HBase中的单独存储列族中。

4.根据权利要求3所述的非结构化数据的管理方法，其特征在于，所述根据所述存储方式读取所述非结构化数据，具体为：

若所述非结构化数据的存储方式为单独存储，则根据所述非结构数据的行键查询HBase中的单独存储列族，获得所述非结构化数据的在HDFS中的存储路径，读取所述非结构化数据的在HDFS中的存储路径获得所述非结构化数据；

若所述非结构化数据的存储方式为合并存储，则根据所述非结构数据的行键查询HBase中的合并存储列族中，获得合并后的文件在HDFS中的存储路径以及所述非结构化数据在合并文件中的偏移量和字节数，读取所述非结构化数据的对应字节生成所述非结构化数据；

若所述非结构化数据的存储方式为序列化存储，则根据所述非结构化数据的行键查询HBase中的序列化存储列族，获得所述非结构化数据的序列化文件，对所述序列化文件进行反序列化处理，获得所述非结构化数据。