[发明专利]一种文档分类方法和系统

权利要求书

1.一种文档分类方法，其特征在于，应用于包括Map程序和Reduce程序的Hadoop集群中，所述方法包括以下步骤：

所述Map程序对训练文档和待分类文档进行解析，根据解析结果确定特征属性，并对所述特征属性进行划分；

所述Map程序根据所述训练文档的特征属性以及对所述训练文档的分类结果，生成分类器；

所述Reduce程序使用所述分类器对所述待分类文档进行分类，得到待分类文档的分类结果。

2.如权利要求1所述的方法，其特征在于，所述Map程序根据解析结果确定特征属性之后，还包括：

所述Map程序根据所述特征属性，分别对所述训练文档和所述待分类文档进行格式转换，得到符合预设格式的训练文档和待分类文档；

所述Map程序根据所述训练文档的特征属性以及对所述训练文档的分类结果，生成分类器，具体为：

所述Map程序根据格式转换后的训练文档的特征属性以及对所述训练文档的分类结果，生成分类器；

所述Reduce程序使用所述分类器对所述待分类文档进行分类，得到待分类文档的分类结果，具体为：

所述Reduce程序使用所述分类器对格式转换后的待分类文档进行分类，得到待分类文档的分类结果。

3.如权利要求2所述的方法，其特征在于，所述Map程序根据格式转换后的训练文档的特征属性以及对所述训练文档的分类结果，生成分类器，具体为：

所述Map程序根据所述格式转换后的训练文档对应的各个特征属性的取值范围以及对所述训练文档的分类结果，计算每个类别在所述训练文档中的出现频率以及在每个类别下所有特征属性的各个取值范围的条件概率估计，将所述出现频率和所述条件概率估计记录为分类器。

4.如权利要求3所述的方法，其特征在于，所述Reduce程序使用所述分类器对格式转换后的待分类文档进行分类，得到待分类文档的分类结果，具体为：

所述Reduce程序获取所述格式转换后的待分类文档的所有特征属性的取值范围，根据获取到的取值范围、每个类别在训练文档中的出现频率以及在每个类别下所有特征属性的各个取值范围的条件概率估计，计算所述待分类文档归属于各个类别的条件概率，并将数值最大的条件概率对应的类别作为所述待分类文档的分类结果。

5.如权利要求1所述的方法，其特征在于，所述Map程序对训练文档和待分类文档进行解析，根据解析结果确定特征属性，并对所述特征属性进行划分，具体为：

所述Map程序通过对训练文档和待分类文档进行解析，得到训练文档和待分类文档包含的属性，并从解析得到的属性中选取特征属性，并针对每个特征属性划分多个取值范围。

6.一种文档分类系统，其特征在于，应用于Hadoop集群中，所述系统包括：

解析模块，用于对训练文档和待分类文档进行解析，根据解析结果确定特征属性，并对所述特征属性进行划分；

生成模块，用于根据所述解析模块确定的所述训练文档的特征属性以及对所述训练文档的分类结果，生成分类器；

分类模块，用于使用所述生成模块生成的所述分类器对所述待分类文档进行分类，得到待分类文档的分类结果。

7.如权利要求6所述的系统，其特征在于，还包括：

转换模块，用于根据所述解析模块确定的所述特征属性，分别对所述训练文档和所述待分类文档进行格式转换，得到符合预设格式的训练文档和待分类文档；

所述生成模块，具体用于根据所述转换模块格式转换后的训练文档的特征属性以及对所述训练文档的分类结果，生成分类器；

所述分类模块，具体用于使用所述生成模块生成的所述分类器对所述转换模块格式转换后的待分类文档进行分类，得到待分类文档的分类结果。

8.如权利要求7所述的系统，其特征在于，

所述生成模块，具体用于根据所述转换模块格式转换后的训练文档对应的各个特征属性的取值范围以及对所述训练文档的分类结果，计算每个类别在所述训练文档中的出现频率以及在每个类别下所有特征属性的各个取值范围的条件概率估计，将所述出现频率和所述条件概率估计记录为分类器。