[发明专利]一种文本分类方法及智能设备

说明书

本申请提供一种文本分类方法及智能设备，所述方法可以在获取超长的待分类文本后，先计算支撑词得分，再对待分类文本进行切分以获得多个文本片段。通过分别计算每个文本片段的第一得分和第二得分，得到每个文本片段的综合得分，从而根据综合得分对待分类文本进行重新切分，以获得短文本数据，最后将短文本数据输入自然语言处理模型进行文本分类。所述方法可以通过零次学习和支撑词得分两种方式计算获得文本片段的综合得分，确定文本片段的重要程度，以保证性能的同时尽可能保留模型效果，减少语义损失。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种文本分类方法及智能设备。

背景技术

文本分类是计算机等数据处理设备对文本集按照一定的分类体系或标准自动分类标记的数据处理方式。文本分类可以基于深度学习神经网络技术，在已经被标注的训练样本数据中找到文本特征和文本类别之间的关系模型，再利用学习得到的关系模型对新的文本进行类别判断，实现对自然语言文本的语义理解。

数据处理设备在进行文本分类的过程中，需要先通过样本数据对初始模型进行训练，以获得训练模型，再使用训练模型对新的文本数据进行识别，从而输出文本数据对应各类别的分类概率。由于文本分类过程中训练模型需要通过位置编码等方式对文本进行处理，因此输入训练模型的文本数据具有长度限制。例如，参考经典BERT的自然语言训练模型，由于原始位置编码的设计要求，导致训练模型最大支持512长度的文本处理，无法支持超长文本的建模。

为了处理长文本，在将长文本输入训练模型前，需要对文本进行切分处理。例如，可以使用硬截断的方式将超长文本从前到后截断，以将一个长度大于512的长文本切分成多个长度小于或等于512的指定长度短文本，然后再使用训练模型进行建模。但是这种文本截断方式仅适用于指定长度短文本能够表征完整文本的语义，而实际文本数据很少能够满足这一特点，导致这种文本截断方式忽略了文本的性能敏感性和可用性，造成部分语义损失。

发明内容

本申请提供了一种文本分类方法及智能设备，以解决传统文本分类方法在处理超长文本时出现语义损失的问题。

第一方面，本申请提供一种文本分类方法，包括：

获取待分类文本；

计算每个分类标签对应类别的支撑词得分，所述支撑词得分为所述待分类文本中关键词的逆向文本频率IDF数值；所述支撑词为所述IDF数值大于预设IDF判断值的关键词；

将所述待分类文本切分为多个文本片段；

计算每个所述文本片段的第一得分，所述第一得分为类别得分向量的信息熵；所述类别得分向量为所述文本片段对于每个类别的零次学习模型分类结果组成的向量；

计算每个所述文本片段的第二得分，所述第二得分根据所述文本片段中的所述支撑词得分计算获得；

计算综合得分，所述综合得分为所述第一得分和所述第二得分的标准化求和结果；

根据所述综合得分重新切分所述待分类文本，以及将重新切分结果输入自然语言处理模型。

第二方面，本申请还提供一种智能设备，包括：存储模块和处理模块。其中，存储模块被配置为存储自然语言处理模型和零次学习模型；处理模块被配置为执行以下程序步骤：

获取待分类文本；

计算每个分类标签对应类别的支撑词得分，所述支撑词得分为所述待分类文本中关键词的逆向文本频率IDF数值；所述支撑词为所述IDF数值大于预设IDF判断值的关键词；

将所述待分类文本切分为多个文本片段；

计算每个所述文本片段的第一得分，所述第一得分为类别得分向量的信息熵；所述类别得分向量为所述文本片段对于每个类别的零次学习模型分类结果组成的向量；