[发明专利]一种文本分类方法、装置、设备及存储介质

说明书

本申请涉及人工智能技术领域，揭露了一种文本分类方法、装置、设备及存储介质，所述方法包括：获取待分类文本数据；将待分类文本数据进行关键词抽取，以得到字词信息，根据字词信息进行编码，得到对应的位置信息；将字词信息和位置信息分别进行嵌入处理，并将经嵌入处理后得到的向量进行合并，得到文本矩阵；文本矩阵经预训练的分类模型处理，得到第一标签概率分布和第二标签概率分布，预训练的分类模型中包括掩码多头注意力结构；基于第一标签概率分布和第二标签概率分布，确定待分类文本数据的所属类别。本申请还涉及区块链技术，待分类文本数据对应的类别数据存储于区块链中。本申请实现了提高分类准确率的同时，还能生成新标签。

技术领域

本申请涉及人工智能领域，尤其涉及一种文本分类方法、装置、设备及存储介质。

背景技术

目前，随着互联网行业的发展与科技的进步,各行各业的信息知识呈爆炸性增长，为了满足海量信息背景下用户的多样化需求，迫切需要对文本信息进行有效的管理，因此各种文本分类技术得到了快速发展，成为了数据挖掘与数据检索等领域的研究热点和核心技术，并对企业和社会信息技术发展有着重大作用。现有技术中，常采用逻辑回归、朴素贝叶斯或随机森林等机器学习的方式进行文本分类，或者利用传统的文本分类手段，例如TF-IDF，向量空间模型等，现有技术中的手段，都是基于现有标签的基础上进行分类的，没有生成新标签的能力，即在文本分类时存在仅能根据现有标签对文本进行分类的问题。

发明内容

本申请提供了一种文本分类方法、装置、设备及存储介质，以解决现有技术中对文本进行分类时，仅能利用现有标签对文本进行分类的问题。

为解决上述问题，本申请提供了一种文本分类方法，包括：

获取待分类文本数据；

将所述待分类文本数据进行关键词抽取，以得到字词信息，根据字词信息进行编码，得到对应的位置信息；

将所述字词信息和位置信息分别进行嵌入处理，并将经所述嵌入处理后得到的向量进行合并，得到文本矩阵；

所述文本矩阵经预训练的分类模型处理，得到第一标签概率分布和第二标签概率分布，所述预训练的分类模型中包括掩码多头注意力结构；

基于所述第一标签概率分布和第二标签概率分布，确定所述待分类文本数据的所属类别。

进一步的，所述文本矩阵经预训练的分类模型处理包括：

通过所述预训练的分类模型中的归一化层，对所述文本矩阵进行归一化处理，得到第一矩阵；

所述第一矩阵通过所述预训练的分类模型中的掩码多头注意力结构进行信息提取处理，得到包含有待分类文本数据上下文信息的第二矩阵；

将所述文本矩阵和所述第二矩阵进行残差连接，得到第三矩阵，再通过所述预训练的分类模型中的归一化层，对所述第三矩阵进行归一化处理，得到第四矩阵；

通过所述预训练的分类模型中的前馈网络层对所述第四矩阵进行映射处理，得到第五矩阵；

所述第五矩阵通过所述预训练的分类模型中的激活函数层处理，得到第六矩阵，并将所述第六矩阵与所述第四矩阵进行残差连接，得到第七矩阵，通过所述预训练的分类模型中的归一化层，对所述第七矩阵进行归一化处理，得到第八矩阵；

对所述第八矩阵分别进行两次线性变换，得到第一标签矩阵和第二标签矩阵；

通过所述分类模型中的Softmax层，对所述第一标签矩阵和第二标签矩阵进行映射，得到所述第一标签概率分布和第二标签概率分布。

进一步的，所述第一矩阵通过所述预训练的分类模型中的掩码多头注意力结构进行信息提取处理，得到包含有待分类文本数据上下文信息的第二矩阵包括：