[发明专利]基于混合特征的文本中语义连贯性主题与词向量并发提取方法

权利要求书

1.基于混合特征的文本中语义连贯性主题与词向量并发提取方法，其特征在于：包括步骤：

步骤1：使用开源分词工具将语料库中的文档进行中文分词并且去除停用词；

步骤2：利用开源工具建立词表与词-文档矩阵；

步骤3：基于固定尺寸的与固定步长的滑动窗口进行文档切分，将步骤2得到的文档切分为多个局部上下文；并抽取出多元词组，每个多元词组包含多个局部上下文中共现的词；

步骤4：对步骤3中抽取出来的多元词组进行吉布斯采样，产生“多元词组-主题”分布与“主题-词”分布；并根据步骤3中多元词组与文档的对应情况生成文档主题分布；

步骤5：进行外部语料集的抓取，并进行预处理；

步骤6：利用开源工具Genism对步骤5预处理之后的语料集进行通用词向量训练；

步骤7：根据步骤4得到的“主题-词”分布，计算每个主题对应的主题嵌入向量；具体为使用步骤6中生成的通用词向量，将通用词向量按照概率值按权相加得到每个主题对应的嵌入向量；

步骤8：将步骤7中得到的主题嵌入向量与步骤6得到的通用词向量按权相加，得到某个词在某个主题下的特征嵌入向量；将文档中所有主题词嵌入按权相加得到文档向量；

步骤9：根据预设的模型超参数从伯努利分布中采样出随机判别值，并根据判别值是否为零来决定当前词的生成源；如果等于零则从狄利克雷先验的多项式分布中生成，否则从词向量隐特征模块生成；

步骤10：利用吉布斯采样得到当前词的生成主题，然后根据确定的词生成方式采样出当前词；

步骤11：重复步骤10，更新全局词统计信息以及词嵌入值直到收敛；获得最终的文档主题分布和“主题-词”分布以及更新后的通用词向量。

2.根据权利要求1所述的文本中语义连贯性主题与词向量并发提取方法，其特征在于：所述步骤1中使用开源工具Genism对英文语料集进行英文分词操作，使用开源中文分词工具Jieba对中文语料集进行中文分词，并去除停用词。

3.根据权利要求1所述的文本中语义连贯性主题与词向量并发提取方法，其特征在于：所述多元词组抽取具体过程如下：

i.预处理完成后，每个文档被表示为词序列V_i，V_i中使用词在词表中的下标表示该词；

ii.根据预设的固定长度的滑动窗口从文档中，即词序列中取出包含多个词的局部上下文词集合；然后将该词集合依照多元语言模型转化为多元词组，即(w₁,w₂,w₃)＝{(w₁,w₂),(w₂,w₃),(w₁,w₃)}；

iii.根据预设的滑动步长将滑动窗口移动到下一个局部上下文中，重复上述步骤ii的处理流程；

iv.迭代处理语料集中所有处理后文本，生成多元词组集合。