[发明专利]一种词汇分类的方法、系统和实现方法

权利要求书

1.一种词汇分类的方法，其特征在于，包括以下步骤：

获取文档分类训练集，所述文档分类训练集包括文档和所述文档所属的文档类别信息；

对所有文档进行预处理，形成待分类词汇；

获取每个待分类词汇在一个文档类别中的词汇频率值TF；

获取每个待分类词汇在一个文档类别中的逆文档频率值IDF；

采用每个待分类词汇在一个文档类别中的词汇频率值TF和逆文档频率值IDF获得每个待分类词汇在一个文档类别中的词汇频率-逆文档频率值TF-IDF；

获取每个待分类词汇在其文档所属的所有文档类别中的词汇频率-逆文档频率值TF-IDF之和；

每个待分类词汇在一个文档类别中的词汇频率-逆文档频率值TF-IDF除以所述待分类词汇在其文档所属的所有文档类别中的词汇频率-逆文档频率值TF-IDF之和获得的商值作为所述待分类词汇属于所述文档类别的概率；

所述待分类词汇所在文档属于的文档类别作为所述待分类词汇的类别，生成包括待分类词汇、待分类词汇对应的类别和待分类词汇属于对应类别的概率的词汇分类数据库。

2.根据权利要求1所述的一种词汇分类的方法，其特征在于，当一个文档同时属于不少于两个文档类别的情况下，还包括以下步骤：

获得一件文档所属的全部文档类别中的全部词汇；

获得所述文档所属的全部文档类别中任意不少于两个的文档都出现的词汇；

从所述的全部词汇中删除所述任意不少于两个的文档都出现的词汇，获得区别词汇；

获得所有区别词汇在所述文档所属的全部文档类别中的概率，并求和；

获得所有区别词汇在所述文档所属的一个文档类别中的概率，并求和；

将在所述一个文档类别中的词汇概率的和与所述全部文档类别中的词汇概率的和相除，获得的商作为所述文档对所述一个文档类别的贡献程度。

3.根据权利要求2所述的一种词汇分类的方法，其特征在于，对所有文档进行预处理进一步包括以下步骤：

对文档进行分词；

去除其中停用词；

形成待分类词汇；

保留待分类词汇的位置信息和字体信息。

4.根据权利要求3所述的一种词汇分类的方法，其特征在于，获取每个待分类词汇在一个文档类别中的词汇频率值TF进一步包括以下步骤：

采用以下公式获取待分类词汇在一个文档类别中的出现次数FC：

FC＝求和(1*(位置因子+字体因子))，其中位置因子根据待分类词汇的位置信息确定，字体因子根据待分类词汇的字体信息确定；

采用以下公式获取待分类词汇在一个文档类别中的词汇频率值TF：

TF＝log((1+FC)/SQRT(MAX FC))，其中MAX FC是一个文档类别中所有待分类词汇出现次数最多的待分类词汇的出现次数，SQRT是取平方的函数。

5.根据权利要求4所述的一种词汇分类的方法，其特征在于，还包括以下步骤：

对每个待分类词汇在一个文档类别中的词汇频率值TF进行归一化。

6.根据权利要求3所述的一种词汇分类的方法，其特征在于，获取每个待分类词汇在一个文档类别中的逆文档频率值IDF进一步包括以下步骤：

采用以下公式获取待分类词汇在一个文档类别中的出现次数：

DF＝求和(1*(位置因子+字体因子))，其中位置因子根据待分类词汇的位置信息确定，字体因子根据待分类词汇的字体信息确定；

采用以下公式获取待分类词汇在一个文档类别中的逆文档频率值IDF：

LogIDF＝log(LabelDocumentCount/DF)，其中LabelDocumentCount是一个文档类别中全部词汇的总数。

7.根据权利要求1或者2所述的一种词汇分类的方法，其特征在于，采用每个待分类词汇在一个文档类别中的词汇频率值TF和逆文档频率值IDF之和作为每个待分类词汇在一个文档类别中的词汇频率-逆文档频率值TF-IDF。

8.根据权利要求4或者6所述的一种词汇分类的方法，其特征在于，位置因子根据待分类词汇的位置信息确定进一步包括以下步骤：

获取位置信息，所述位置包括标题、正文、侧面链接和广告；

对不同的位置设置不同的位置因子，位置因子在0至1的范围。