[发明专利]一种基于WSD层级记忆网络的文档建模分类方法

权利要求书

1.一种基于WSD层级记忆网络的文档建模分类方法，其特征在于，包括如下步骤：

(1)输入文档语料，定义D1为待清洗文档数据集，将待清洗文档数据集D1去重，对内容分句和去标点符号，清洗后得到文档数据集D2；

(2)建立Bert模型，提取待处理文档数据集D2中所有句子文本数据集S1并进行分词，将每个词转换成固定维度的向量，基于词向量句子序列两两组合形成句子对并进行语义相似度计算与学习，将学习到的每个句子分别进行标记，同时，语义相同的句子也嵌入到同一个标记中，以获取词语间的上下文信息，得到文本句向量空间矩阵E；

(3)将步骤(1)中待处理文档数据集D2映射到文本句向量空间矩阵E中，得到句向量表示的待分类文档数据集D3；

(4)经步骤(3)生成的D3作为双向长短时记忆网络即BiLSTM的输入，通过正向和反向的顺序，结合Attention机制提取句子上下文语义信息，得到基于语义表示的向量化文档，通过Softmax层进行文档分类，输出文档分类的概率。

2.根据权利要求1所述的一种基于WSD层级记忆网络的文档建模分类方法，其特征在于，所述步骤(1)中得到文档数据集D2的具体步骤如下：

(1.1)定义Text为单篇待清洗文档，定义id,title,content,label分别为单篇文档的序号、标题、内容和标签，并且满足关系Text_a＝{id_a,title_a,content_a,label_a}；

(1.2)定义D1为待清洗文档数据集，D1＝{Text₁,Text₂,…Text_a,…Text_len(D1)}，Text_a为D1中第a个单篇待清洗文档，其中，len(D1)为D1中文档数量，变量a∈[1,len(D1)]；

(1.3)D1中每篇文档的标题以句子形式保存于内容之前，去重后将每篇文档内容切分成句，过滤掉空值及重复句；

(1.4)得到待处理文档数据集D2＝{T1₁,T1₂,…T1_n,…T1_len(D2)}，其中，D2为分词后的文档序列集合，len(D2)为文档数量，T1_n表示D2中第n个单篇待处理文档序列，变量n∈[1,len(D2)]。