[发明专利]一种大数据分类方法及系统

权利要求书

1.一种大数据分类方法，其特征在于，该方法包括以下步骤：

训练步骤，包括多次循环的第一映射/化简步骤，用于将输入数据划分成输入数据块，将该输入数据块生成模式字符串的分类规则{模式字符串=>类标}，并将该分类规则写入Hbase数据库规则表；

测试步骤，包括一个第二映射/化简步骤，用于读取该输入数据块，并构造待分类模式字符串，在该Hbase数据库规则表中查找与该待分类模式字符串匹配的分类规则，并输出分类结果。

2.如权利要求1所述的大数据分类方法，其特征在于，该第一映射/化简步骤具体为：

包括一个或多个第一映射步骤和一个化简步骤，其中，该第一映射步骤用于将该输入数据分成固定大小的输入数据块，逐行读取该输入数据块并按照每一维依次取前l位的方式构造模式字符串，并将该输入数据块生成键值对<模式字符串，类标>，其中l为当前循环次数；该化简步骤用于将该键值合并成项目<模式字符串，list<类标>>，并判断该项目是否纯净，若纯净，则向该Hbase数据库规则表中写入该规则，否则转该第一映射步骤，其中该纯净指list<类标>中包含某一个类标次数的百分比达到用户设定的阈值。

3.如权利要求2所述的大数据分类方法，其特征在于，向该Hbase数据库规则表中存入该规则的具体方法为：

判断该Hbase数据库规则表中是否存在该分类规则，若不存在，则将该分类规则存入该Hbase数据库规则表，若存在，则采取覆盖的方式将该分类规则存入该Hbase数据库规则表。

4.如权利要求1或3所述的大数据分类方法，其特征在于，该Hbase数据库规则表采取列的方式进行该分类规则的存储。

5.如权利要求1所述的大数据分类方法，其特征在于，该第二映射/化简步骤具体为：

包括一个或多个第二映射步骤，用于对该输入数据块逐行读取，按照每一维依次取前m位数字的方式构造待分类模式字符串，其中m为正整数，并在Hbase数据库规则表中查找是否存在与该待分类模式字符串匹配的分类规则，直到满足终止条件，输出分类结果，其中该终止条件为找到匹配的分类规则、取数字的位数达到输入数据最大精度、取数字位数达到用户输入阈值中任一条件之一。

6.一种大数据分类系统，其特征在于，该系统包括以下模块：

训练模块，包括多次循环的第一映射/化简模块，用于将输入数据划分成输入数据块，将该输入数据块生成模式字符串的分类规则{模式字符串=>类标}，并将该分类规则写入Hbase数据库规则表；

测试模块，包括一个第二映射/化简模块，用于读取该输入数据块，并构造待分类模式字符串，在该Hbase数据库规则表中查找与该待分类模式字符串匹配的分类规则，并输出分类结果。

7.如权利要求6所述的大数据分类系统，其特征在于，其特征在于，该第一映射/化简模块具体为：

包括一个或多个第一映射模块和一个化简模块，其中，该第一映射模块用于将该输入数据分成固定大小的输入数据块，逐行读取该输入数据块并按照每一维依次取前l位的方式构造模式字符串，并将该输入数据块生成键值对<模式字符串，类标>，其中l为当前循环次数；该化简模块用于将该键值合并成项目<模式字符串，list<类标>>，并判断该项目是否纯净，若纯净，则向该Hbase数据库规则表中写入该规则，否则转该第一映射模块，其中该纯净指list<类标>中包含某一个类标次数的百分比达到用户设定的阈值。

8.如权利要求6所述的大数据分类系统，其特征在于，向该Hbase数据库规则表中存入该规则的具体方法为：

判断该Hbase数据库规则表中是否存在该分类规则，若不存在，则将该分类规则存入该Hbase数据库规则表，若存在，则采取覆盖的方式将该分类规则存入该Hbase数据库规则表。

9.如权利要求6或8所述的大数据分类系统，其特征在于，该Hbase数据库规则表采取列的方式进行该分类规则的存储。

10.如权利要求6所述的大数据分类系统，其特征在于，该第二映射/化简模块具体为：

包括一个或多个第二映射模块，用于对该输入数据块逐行读取，按照每一维依次取前m位数字的方式构造待分类模式字符串，其中m为正整数，并在Hbase数据库规则表中查找是否存在与该待分类模式字符串匹配的分类规则，直到满足终止条件，输出分类结果，其中该终止条件为找到匹配的分类规则、取数字的位数达到输入数据最大精度、取数字位数达到用户输入阈值中任一条件之一。