[发明专利]基于层级结构多标签体系的新闻文本分类模型的构建方法

权利要求书

1.一种基于层级结构多标签体系的新闻文本分类模型的构建方法，其特征在于，包括如下步骤：

步骤一：新闻文本类别标注数据化；

步骤二：确定不同层级的人工标注的类别的置信度；

步骤三：计算步骤一的新闻文本中所有词语的权重；

步骤四：基于步骤一标注的文本类别、步骤二确定的置信度、步骤三计算的词语权重，使用多层相关吉布斯采样方法训练模型，得到类别-词语分布矩阵。

2.根据权利要求1所述的基于层级结构多标签体系的新闻文本分类模型的构建方法，其特征在于，步骤一包括如下子步骤：

步骤101：确定新闻文本的分类体系，所述分类体系采用多层级类别表示，包括每一层级的详细类别和不同层级的类别之间的隶属关系；

步骤102：根据已经确定的分类体系，获取每个类别的新闻文本；

步骤103：将新闻文本的类别进行向量表示。

3.根据权利要求2所述的基于层级结构多标签体系的新闻文本分类模型的构建方法，其特征在于，步骤103的方法为：

令表示第个新闻样本在第j层级中的向量表示；其中，为新闻文本的数量，为第j层级的类别总数，的计算公式如下：

。

4.根据权利要求3所述的基于层级结构多标签体系的新闻文本分类模型的构建方法，其特征在于，步骤二包括如下子步骤：

步骤201：采用如下计算公式确认分类体系中第一层级的类别的置信度：

其中，是第个类别出现的次数，是第个类别被正确标记的次数；

步骤202：根据经验确认第j层级的类别的孪生系数；

步骤203：计算第j层级的类别的置信度。

5.根据权利要求4所述的基于层级结构多标签体系的新闻文本分类模型的构建方法，其特征在于，孪生系数的取值范围为(0,1]。

6.根据权利要求4或5所述的基于层级结构多标签体系的新闻文本分类模型的构建方法，其特征在于，步骤三包括如下子步骤：

步骤301：统计新闻文本中每一个词语在所有类别中出现的频次；

步骤302：基于所述频次计算新闻文本中每一个词语在所有类别中的分布概率；

步骤303：基于所述频次和分布概率计算新闻文本中每一个词语在所有类别中的权重。

7.根据权利要求6所述的基于层级结构多标签体系的新闻文本分类模型的构建方法，其特征在于，步骤四包括如下子步骤：

步骤401：提取当前新闻文本的词语；

步骤402：初始化分配当前新闻文本的所有词语在每一层级的类别；

步骤403：统计所有层级所有类别中各个词语的数目；

步骤404：计算每个类别中的词语的总数；

步骤405：统计所有文章的词语在所有层级所有类别中出现的数量；

步骤406：提取第篇新闻文本的词语，获取词语的索引值，获取当前词语已分配的类别；

步骤407：按照如下公式更新各项统计值：

其中，表示第篇新闻文本的词语经过步骤402分配的第j层级的类别；

表示第个词语经过步骤402被分配到第j层级的第个类别中出现的次数；

表示经过步骤402分配后每个类别中的词语的总数；

表示第篇新闻文本中的词语经过步骤402被分配到第j层级的第个类别的数量；

步骤408；在更新各统计值后，基于步骤一标注的文本类别、步骤二确定的置信度、步骤三计算的词语权重，重新分配当前新闻文本的所有词语在每一层级的类别；

步骤409，按照如下公式再次更新各项统计值：

其中，表示第篇新闻文本的词语经过步骤408分配的第j层级的类别；

表示第个词语经过步骤408被分配到第j层级的第个类别中出现的次数；

表示经过步骤408分配后每个类别中的词语的总数；

表示第篇新闻文本中的词语经过步骤408被分配到第j层级的第个类别的数量；

步骤410：设置最大迭代次数为T，对所有新闻文本的所有词语执行步骤406～步骤409，并重复迭代T次；

步骤411：按照如下公式计算各个层级的类别-词语分布矩阵：

。