[发明专利]一种基于WSD层级记忆网络的文档建模分类方法

摘要

本发明公开了一种基于WSD层级记忆网络的文档建模分类方法。首先，通过Bert算法基于词向量得到相似句子文本的句嵌入矩阵，以获得词语之间语义信息；然后，将句子映射到句嵌入矩阵空间得到句子的向量化表示；最后，将分完句文档的序列数据输入到BiLSTM模型中，同时获取每个句子的注意力权重，得到文档的向量化表示，保留了文档内部语义联系。本发明方法可有效获取一种准确度最高的文档建模，充分考虑到词句级联的层次关系，增加文档建模内部的语义联系，对于类间数据相似性较高的文档分类更加准确。

主权项

1.一种基于WSD层级记忆网络的文档建模分类方法，其特征在于，包括如下步骤：(1)输入文档语料，定义D1为待清洗文档数据集，将待清洗文档数据集D1去重，对内容分句和去标点符号，清洗后得到文档数据集D2；(2)建立Bert模型，提取待处理文档数据集D2中所有句子文本数据集S1并进行分词，将每个词转换成固定维度的向量，基于词向量句子序列两两组合形成句子对并进行相似语义学习，将学习到的每个句子嵌入到句子的每个标记中，以获取词语间的上下文信息，得到文本句向量空间矩阵E；(3)将步骤(1)中待处理文档数据集D2映射到文本句向量空间矩阵E中，得到句向量表示的待分类文档数据集D3；(4)经步骤(3)生成的D3作为双向长短时记忆网络即BiLSTM的输入，通过正向和反向的顺序，结合Attention机制提取句子上下文语义信息，得到基于语义表示的向量化文档，通过Softmax层进行文档分类，输出文档分类的概率。