[发明专利]一种文本分类方法及智能设备

权利要求书

1.一种文本分类方法，其特征在于，包括：

获取待分类文本；

计算每个分类标签对应类别的支撑词得分，所述支撑词得分为所述待分类文本中关键词的逆向文本频率IDF数值；所述支撑词为所述IDF数值大于预设IDF判断值的关键词；

将所述待分类文本切分为多个文本片段；

计算每个所述文本片段的第一得分，所述第一得分为类别得分向量的信息熵；所述类别得分向量为所述文本片段对于每个类别的零次学习模型分类结果组成的向量；

计算每个所述文本片段的第二得分，所述第二得分根据所述文本片段中的所述支撑词得分计算获得；

计算综合得分，所述综合得分为所述第一得分和所述第二得分的标准化求和结果；

根据所述综合得分重新切分所述待分类文本，以及将重新切分结果输入自然语言处理模型。

2.根据权利要求1所述的文本分类方法，其特征在于，计算每个分类标签对应类别的支撑词得分的步骤包括：

基于预设词库，剔除所述待分类文本中的噪声词，以获得关键词集合；

遍历所述关键词集合中每个关键词在所述待分类文本中的出现总次数；

遍历所述关键词集合中每个关键词在每个类别中的出现次数；

计算所述出现次数与所述出现总次数的比值，以获得所述IDF数值。

3.根据权利要求2所述的文本分类方法，其特征在于，遍历所述关键词集合中每个关键词在所述待分类文本中的出现总次数的步骤后，所述方法还包括：

获取预设低频词概率；

计算第一超参数，所述第一超参数用于判断关键词中的低频词；

剔除所述关键词集合中的低频词，所述低频词为所述出现总次数小于第一超参数的关键词。

4.根据权利要求2所述的文本分类方法，其特征在于，获得所述IDF数值的步骤后，所述方法还包括：

计算归一得分量，所述归一得分量为类别总数的倒数；

设置第二超参数，所述第二超参数为大于0，小于或等于所述类别总数的常数；

计算所述第二超参数与所述归一得分量的乘积，以获得IDF判断值；

如果所述IDF数值大于所述IDF判断值，标记所述IDF数值对应的关键词为当前类别的支撑词；

如果所述IDF数值小于或等于所述IDF判断值，标记所述IDF数值对应的关键词不是当前类别的支撑词。

5.根据权利要求1所述的文本分类方法，其特征在于，将所述待分类文本切分为多个文本片段的步骤包括：

遍历所述待分类文本中的句子标识，所述句子标识包括标点符号、段落符号以及空格字符；

按照所述句子标识将所述待分类文本逐句拆分，以获得句子集合；

设置第三超参数，所述第三超参数用于表征每个文本片段中包含的句子数；

根据所述第三超参数，在所述句子集合中提取文本片段。

6.根据权利要求1所述的文本分类方法，其特征在于，计算每个所述文本片段的第一得分的步骤包括：

获取零次学习模型，所述零次学习模型以所述文本片段作为文本输入，以所述分类标签作为类别描述输入，以每个类别的分类结果得分作为输出；

将所述文本片段输入所述零次学习模型，以获得所述零次学习模型输出的每个文本片段对每个类别的分类结果得分；

将每个类别的分类结果得分组合，以形成所述类别得分向量；

按照下式计算所述类别得分向量的信息熵，以获得所述第一得分：

式中，为第一得分，N为类别总数；score_i,j为文本片段i对类别j的分类结果得分。

7.根据权利要求1所述的文本分类方法，其特征在于，计算每个所述文本片段的第二得分的步骤包括：

根据所述支撑词得分计算关键词最终得分，所述关键词最终得分为关键词对于所有类别的支撑词得分的最大值或者平均值；

遍历文本片段中各类别对应关键词的次数；

按照下式计算所述第二得分：

式中，为第二得分；为关键词k的最终得分；count(i,k)为文本片段i中出现类别对应关键词的次数。