[发明专利]一种基于大数据的分类存储方法及系统

权利要求书

1.一种基于大数据的分类存储方法，其特征在于，包括以下步骤：

S10、基于分类算法对获取的应用数据进行分类，判断所述应用数据类型；

S20、对结构化数据直接存入数据库群中；

S30、对半结构化数据进行模式抽取，映射为结构化数据后存入所述数据库群中；

S40、对非结构化数据进行特征抽取、虚拟类以及创建对象转化为结构化数据后存入所述数据库群中。

2.根据权利要求1所述的基于大数据的分类存储方法，其特征在于，所述S30还包括：

S31、对半结构化数据进行基于指定模型进行模式抽取，映射为结构化数据；

S32、根据所述结构化数据基于对象的关系数据库进行存储。

3.根据权利要求2所述的基于大数据的分类存储方法，其特征在于，所述指定模型为OEM模型。

4.根据权利要求1所述的基于大数据的分类存储方法，其特征在于，所述S10还包括：

S11、以大数据作为学习数据，建立分类规则库；

S12、检测所述应用数据的对应属性，若检测到所述分类规则库存在该属性对应的规则，则使用所述对应的规则进行分类，否则添加对应规则至所述应用数据并进行分类。

5.根据权利要求4所述的基于大数据的分类存储方法，其特征在于，所述S12还包括：

对所述应用数据按照文件后缀名、内容结构以及数据特征的顺序进行检测。

6.根据权利要求4所述的基于大数据的分类存储方法，其特征在于，所述S11还包括：

创建第一数组、第二数组和第三数组；

所述第一数组元素包括各类非结构化数据文件的后缀名；

所述第二数组元素包括数据主题或关键词；

所述第三数组元素包括结构化数据特征。

7.根据权利要求6所述的基于大数据的分类存储方法，其特征在于，所述S12还包括：

提取所述应用数据的后缀名，并与所述第一数组进行匹配，若匹配到对应的元数据则判断该所述应用数据为非结构化数据，否则将所述元数据对应的后缀名添加到第一数组并执行下一步骤；

提取所述应用数据的主题或关键词，并与所述第二数组进行匹配，若匹配到对应的元数据则判断该所述应用数据为半结构化数据，否则将所述元数据对应的主题或关键词添加到第二数组并执行下一步骤；

提取所述应用数据的数据特征，并与所述第三数组进行匹配，若匹配到对应的元数据则判断该所述应用数据为结构化数据，否则返回执行第一步。

8.一种基于大数据的分类存储系统，其特征在于，包括：

分类模块，用于基于分类算法对获取的应用数据进行分类，判断所述应用数据类型；

数据库，用于建立数据库群存储各类应用数据；

第一处理模块，用于对半结构化数据进行模式抽取，映射为结构化数据后存入所述数据库群中；

第二处理模块，用于对非结构化数据进行特征抽取、虚拟类以及创建对象转化为结构化数据后存入所述数据库群中。

9.根据权利要求8所述的基于大数据的分类存储系统，其特征在于，所述分类模块还包括：

分类规则单元，用于检测所述应用数据的对应属性，若检测到所述分类规则库存在该属性对应的规则，则使用所述对应的规则进行分类，否则添加对应规则至所述应用数据并进行分类。

10.根据权利要求8所述的基于大数据的分类存储系统，其特征在于，所述分类模块还包括：

第一匹配单元，用于提取所述应用数据的后缀名，并与所述第一数组进行匹配，若匹配到对应的元数据则判断该所述应用数据为非结构化数据，否则将所述元数据对应的后缀名添加到第一数组并调用第二匹配单元；

第二匹配单元，用于提取所述应用数据的主题或关键词，并与所述第二数组进行匹配，若匹配到对应的元数据则判断该所述应用数据为半结构化数据，否则将所述元数据对应的主题或关键词添加到第二数组并调用第三匹配单元；

第三匹配单元，用于提取所述应用数据的数据特征，并与所述第三数组进行匹配，若匹配到对应的元数据则判断该所述应用数据为结构化数据，否则返回调用第一匹配单元。