[发明专利]一种多次迭代对折词汇层级分类方法及系统

权利要求书

1.一种多次迭代对折词汇层级分类方法，其特征在于，所述多次迭代对折词汇层级分类方法包括：

计算各待分类词汇的使用频率；各待分类词汇的领域相同；

根据所述待分类词汇的使用频率对所述待分类词汇进行升序排列，并标注序号；

根据所述待分类词汇的总数及待分类词汇的所属领域，确定层级级数及迭代阈值；

初始化各层级的候选分界阈值；所述各层级的候选分界阈值为所述待分类词汇的总数量；

根据各层级的候选分界阈值、待分类词汇的序号以及迭代阈值，对所述待分类词汇进行迭代查询，得到各层级的分界阈值；

根据所述各层级的分界阈值，得到所述待分类词汇的层级分类。

2.根据权利要求1所述的多次迭代对折词汇层级分类方法，其特征在于，采用词频-逆文本频率指数TF-IDF算法计算所述各待分类词汇的使用频率。

3.根据权利要求1所述的多次迭代对折词汇层级分类方法，其特征在于，所述根据各层级的候选分界阈值、待分类词汇的序号以及迭代阈值，对所述待分类词汇进行迭代查询，得到各层级的分界阈值，具体包括：

针对第j级词汇的分界阈值λ_j，初始化第j级词汇的中间阈值迭代次数n＝1、对折次数m＝1、标志值f＝0；其中λ_j-1为第j-1级词汇的的分界阈值，λ₀为待分类词汇的总数量；

针对第n次迭代，初始化对折次数m＝1，判断迭代次数是否大于迭代阈值，若所述迭代次数大于所述迭代阈值，将第j级词汇的候选分界阈值α_j作为第j级词汇的分界阈值λ_j，进行第j+1级词汇分界阈值的判断；

若所述迭代次数小于或等于所述迭代阈值，检验Δ是否是第j级词汇；

若Δ是第j级词汇，判断标志值是否为0，若标志值为0，将Δ作为第j级词汇的候选分界阈值α_j，进行第n+1次迭代；若标志值为1，将Δ作为第j级词汇的候选分界阈值α_j；判断是否为第一次对折，若是第一次对折，将α_j作为第j级词汇的分界阈值λ_j，进行第j+1级词汇分界阈值的判断；若不是第一次对折，进行第n+1次迭代；

若Δ不是第j级词汇，将标志值设置为1，针对第m次对折，计算第n次迭代第m次对折的阈值

返回“检验Δ是否是第j级词汇”处理。

4.根据权利要求1所述的多次迭代对折词汇层级分类方法，其特征在于，所述各层级的分界阈值为待分类词汇对应的序号，所述各层级的分界阈值对应的词汇为各层级的词汇。

5.根据权利要求1所述的多次迭代对折词汇层级分类方法，其特征在于，所述多次迭代对折词汇层级分类方法还包括：

获取文档分类训练集，所述文档分类训练集包括文档和文档所属的文档类别信息；所述文档是网页文档；

对所述文档进行分词，去除停用词，形成待分类词汇。

6.根据权利要求5所述的多次迭代对折词汇层级分类方法，其特征在于，所述计算各待分类词汇的使用频率，具体包括：

获取每个待分类词汇在一个文档类别中的词汇频率值TF；

获取每个待分类词汇在一个文档类别中的逆文本频率指数IDF；

计算每个待分类词汇在其文档所属的文档类别中的TF-IDF之和；

每个待分类词汇在一个文档类别中的词汇频率-逆文本频率指数TF-IDF除以所述待分类词汇在其文档所属的文档类别中的TF-IDF之和，得到的商值作为所述待分类词汇的使用频率。

7.根据权利要求6所述的多次迭代对折词汇层级分类方法，其特征在于，在获取每个待分类词汇在一个文档类别中的词汇频率值TF后，所述计算各待分类词汇的使用频率还包括：

对每个待分类词汇在一个文档类别中的词汇频率值TF进行归一化处理。

8.根据权利要求1所述的多次迭代对折词汇层级分类方法，其特征在于，所述层级级数至少为两级。