[发明专利]文本分类方法、装置、终端设备和可读存储介质

说明书

本发明实施例公开了文本分类方法、装置、终端设备和可读存储介质，该方法包括：获取各个基础词对应的基础词向量和各个主题词对应的主题词向量；对各个主题词向量进行降维处理，以获得各个主题词向量对应的低维主题词向量；确定各个主题词的类别总数和同类主题词的数目；计算第i个类别中的k个低维主题词向量的平均主题词向量，将各个基础词向量分别和平均主题词向量拼接；将各个拼接向量依次输入至预先训练达标的文本分类模型，以确定文本内容对应第i个类别的概率值。本发明的技术方案使得各个词向量与类别相关的特征增强，与类别不相关的特征减弱，使得文本分类模型能更快速、更准确的确定文本内容的对应类别。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种文本分类方法、装置、终端设备和可读存储介质。

背景技术

在大数据时代，网络上的文本数据日益增长，采用文本分类技术对海量数据进行科学地组织和管理显得尤为重要。文本分类应用场景有很多、例如敏感信息分类、舆情分类、主题划分等等。但是，目前文本分类的效率完全依赖于文本分类模型的训练，以及用于训练文本分类模型的语料库，并未充分考虑文本中的主题关键词，导致文本分类模型训练时间过程，并且在语料库的构建过程中浪费大量的人力资源。

发明内容

鉴于上述问题，本发明提出一种文本分类方法、模型、终端设备和可读存储介质。

本发明的一个实施例提出一种文本分类方法，该方法包括：

对获取的文本内容进行分词处理；

根据预设的主题词集合从所述文本内容对应的各个词语中确定主题词和基础词；

对各个基础词和各个主题词进行向量化编码，以获取所述各个基础词对应的基础词向量和所述各个主题词对应的主题词向量；

对各个主题词向量进行降维处理，以获得所述各个主题词向量对应的低维主题词向量；

确定所述各个主题词的类别总数和同类主题词的数目；

计算第i个类别中的k个低维主题词向量的平均主题词向量，将各个基础词向量分别和所述平均主题词向量拼接，i≤n，n为所述类别总数；

将各个拼接向量依次输入至预先训练达标的文本分类模型，以确定所述文本内容对应所述第i个类别的概率值。

本发明的另一个实施例所述的文本分类方法，将各个拼接向量依次输入至预先训练达标的文本分类模型，包括：

将各个拼接向量依次输入至所述文本分类模型的门控循环单元，以获得各个拼接词向量对应的预测词向量；

计算所有预测词向量的平均预测词向量；

利用softmax函数和所述平均预测词向量计算所述文本内容对应所述第i个类别的概率值。

上述门控循环单元包括以下函数：

r_t＝σ(W_r·[h_t-1,x_t])

z_t＝σ(W_z·[h_t-1,x_t])

y_t＝σ(W₀·h_t)