[发明专利]网络大数据长文本多标签分类方法、系统、设备及介质

权利要求书

1.一种网络大数据长文本多标签分类方法，其特征在于，包括：

获取网络大数据中对应的包含多标签长文本的原始数据集；

根据预设的分句函数对每个所述标签内的长文本进行分句操作，得到分句数据；

将所述分句数据进行jieba分词操作，得到分词数据；

根据所述分词数据进行词频-逆向文件频率统计，生成初始词表；

根据预设条件对所述初始词表中的全部词汇进行筛选和添加，得到关键词表；

根据所述关键词表，将所述分词数据与阈值进行比对，并选取对应的操作类型，得到文本数据，其中，所述操作类型包括关键词提取拼接操作和关键词填充操作的任一种；

将所述文本数据转换为字向量和词向量，并计算所述文本数据内不同词对应的位置向量；

将所述字向量、所述词向量和所述位置向量融合，得到嵌入向量；

将所述嵌入向量输入空洞门卷积层进行编码，得到编码向量，其中，所述空洞门卷积层包括多层堆叠的空洞卷积结构，每层所述空洞卷积结构的膨胀率依次为1,2,4,8，且最后一层所述空洞卷积结构的膨胀率为1；

根据自注意力机制模型提取所述编码向量的特征，得到所述文本数据中每个词的关联性，并输入卷积神经网络和全连接层形成分类结果。

2.根据权利要求1所述的方法，其特征在于,所述将所述文本数据转换为字向量和词向量，并计算所述文本数据内不同词对应的位置向量的步骤，包括：

根据预设模型和所述关键词表训练所述文本数据，得到所述词向量；

将所述词向量对应的文本按字分割并得到所述字向量；

将所述词向量和所述字向量融合后，根据词语在句子中的位置计算所述位置向量。

3.根据权利要求1所述的方法，其特征在于,所述将所述嵌入向量输入空洞门卷积层进行编码，得到编码向量的步骤，包括：

将所述嵌入向量输入多层所述空洞卷积结构，学习所述文本数据中的信息，形成所述编码向量。

4.一种网络大数据长文本多标签分类系统，其特征在于，包括：

获取模块，用于获取网络大数据中对应的包含多标签长文本的原始数据集；

预处理模块，用于根据预设的分句函数对每个所述标签内的长文本进行分句操作，得到分句数据；

将所述分句数据进行jieba分词操作，得到分词数据；

根据所述分词数据进行词频-逆向文件频率统计，生成初始词表；

根据预设条件对所述初始词表中的全部词汇进行筛选和添加，得到关键词表；

根据所述关键词表，将所述分词数据与阈值进行比对，并选取对应的操作类型，得到文本数据，其中，所述操作类型包括关键词提取拼接操作和关键词填充操作的任一种；

转换模块，用于将所述文本数据转换为字向量和词向量，并计算所述文本数据内不同词对应的位置向量；

融合模块，用于将所述字向量、所述词向量和所述位置向量融合，得到嵌入向量；

编码模块，用于将所述嵌入向量输入空洞门卷积层进行编码，得到编码向量，其中，所述空洞门卷积层包括多层堆叠的空洞卷积结构，每层所述空洞卷积结构的膨胀率依次为1,2,4,8，且最后一层所述空洞卷积结构的膨胀率为1；

分类模块，用于根据自注意力机制模型提取所述编码向量的特征，得到所述文本数据中每个词的关联性，并输入卷积神经网络和全连接层形成分类结果。

5.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-3中任一项所述的网络大数据长文本多标签分类方法。

6.一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1-3中任一项所述的网络大数据长文本多标签分类方法。