[发明专利]网络大数据长文本多标签分类方法、系统、设备及介质

说明书

本公开实施例中提供了一种网络大数据长文本多标签分类方法、系统、设备及介质，属于数据处理技术领域，具体包括：获取原始数据集；对原始数据集进行分析构建每个标签对应的关键词表后进行预处理，得到文本数据；将文本数据转换为字向量和词向量，并计算文本数据内不同词对应的位置向量；得到嵌入向量；将嵌入向量输入空洞门卷积层进行编码，得到编码向量；根据自注意力机制模型提取编码向量的特征，得到文本数据中每个词的关联性，并形成分类结果。通过本公开的方案，通过构建关键词表将多标签长文本分割，并将文本数据转换为不同向量后进行编码，再利用自注意力机制提取特征得到每个词的关联性，形成分类结果，提高了分类效率和精准度。

技术领域

本公开实施例涉及数据处理技术领域，尤其涉及一种网络大数据长文本多标签分类方法、系统、设备及介质。

背景技术

目前，互联网时代的到来给大数据治理带来了一系列新的挑战，但由于网络大数据中的数据范围过于宽泛，对于不同类别的网络大数据的处理方式不尽相同，所以网络大数据的快速分流、分类处理，对于下一步的大数据分析和进一步处理来说至关重要，目前基于传统神经网络的方法在常见的网络大数据多标签分类中有着不错的效果。其中LSTM适用于短文本网络大数据，TextCNN则是适用于较长文本的网络大数据，但是当面临着文档级的网络大数据，常见的基于传统神经网络的方法的效果就明显下降，主要体现在以下三个方面：

基于传统神经网络模型的方法，通常来说处理过长文本时采取的方法为首部截断、尾部截断、首尾截断，但是网络大数据普遍长度较长，同时关键信息分布不均匀，如果进行传统方式的截断将会导致部分数据丢失关键信息，从而使得模型无法进行有效分类。

传统的神经网络模型在面对超长文本时，LSTM对于很遥远以前的“记忆”变得无足轻重了，导致位于序列前部的关键信息无法进行长距离的传递，所以导致LSTM失去其在短文本任务中的效果。而普通的TextCnn又受感受野的限制，无法将获得分散的关键信息，从而导致整体的模型效果表现不佳。

在传统的多标签文本分类任务中，通常会采用全连接层或者卷积层以及池化层来对于编码层输出的特征向量进行特征的提取，但是采用这样单一的结构来对特征进行提取时并没有考虑特征向量中词语词之间的语义关系、重要程度等因素，而是“无注意力”的对输出的特征向量进行提取，这样的结构往往会导致特征提取的效果并不理想，没有充分利用文本中的关键信息，从而对模型的精度和性能带来了一定的影响。

可见，亟需一种精准高效的网络大数据长文本多标签分类方法。

发明内容

有鉴于此，本公开实施例提供一种网络大数据长文本多标签分类方法、系统、设备及介质，至少部分解决现有技术中存在分类效率和分类精准度较差的问题。

第一方面，本公开实施例提供了一种网络大数据长文本多标签分类方法，包括：

获取网络大数据中对应的包含多标签长文本的原始数据集；

对所述原始数据集进行分析构建每个所述标签对应的关键词表后进行预处理，得到文本数据；

将所述文本数据转换为字向量和词向量，并计算所述文本数据内不同词对应的位置向量；

将所述字向量、所述词向量和所述位置向量融合，得到嵌入向量；

将所述嵌入向量输入空洞门卷积层进行编码，得到编码向量；

根据自注意力机制模型提取所述编码向量的特征，得到所述文本数据中每个词的关联性，并输入卷积神经网络和全连接层形成分类结果。

根据本公开实施例的一种具体实现方式，所述对所述原始数据集进行分析构建每个所述标签对应的关键词表后进行预处理，得到文本数据的步骤，包括：

根据预设的分句函数对每个所述标签内的长文本进行分句操作，得到分句数据；