[发明专利]基于混合特征的文本中语义连贯性主题与词向量并发提取方法

摘要

本发明提供一种基于混合特征的文本中语义连贯性主题与词向量并发提取方法，从而能够同时解决LDA主题模型中忽略局部上下文信息与词向量中忽略文档与词的互信息的缺陷。包括以下步骤：1)上下文依赖的主题预分配阶段；2)基于主题的词向量重构阶段；3)混合文档生成阶段；本发明基于混合特征的文本中语义连贯性主题与词向量并发提取方法能够在现有的生成式概率主题模型与词嵌入等相关技术的基础上，混合利用文本中的全局文档与词的统计信息以及局部的上下文词序与依赖信息，在提取出语义连贯的主题词分布的同时，为不同文档中的词生成不同的主题相关的词向量，有效解决同一词在不同主题下的歧义问题。

主权项

基于混合特征的文本中语义连贯性主题与词向量并发提取方法，其特征在于：包括步骤：步骤1：使用开源分词工具将语料库中的文档进行中文分词并且去除停用词；步骤2：利用开源工具建立词表与词‑文档矩阵；步骤3：基于固定尺寸的与固定步长的滑动窗口进行文档切分，将步骤2得到的文档切分为多个局部上下文；并抽取出多元词组，每个多元词组包含多个局部上下文中共现的词；步骤4：对步骤3中抽取出来的多元词组进行吉布斯采样，产生“多元词组‑主题”分布与“主题‑词”分布；并步骤3生成文档主题分布；步骤5：进行外部语料集的抓取，并进行预处理；步骤6：利用开源工具Genism对步骤5预处理之后的语料集进行通用词向量训练；步骤7：根据步骤4得到的“主题‑词”分布，计算每个主题对应的嵌入向量；具体为使用步骤6中生成的通用词向量，将通用词向量按照概率值按权相加得到每个主题对应的嵌入向量；步骤8：将步骤7中得到的主题嵌入向量与步骤8得到的通用词向量按权相加，得到某个词在某个主题下的特征嵌入向量；将文档中所有主题词嵌入按权相加得到文档向量；步骤9：根据预设的模型超参数从伯努利分布中采样出随机判别值，并根据判别值是否为零来决定当前词的生成源；如果等于零则从狄利克雷先验的多项式分布中生成，否则从词向量隐特征模块生成；步骤10：利用吉布斯采样得到当前词的生成主题，然后根据确定的词生成方式采样出当前词；步骤11：重复步骤10，更新全局词统计信息以及词嵌入值直到收敛；获得最终的“文档‑主题”分布和“主题‑词”分布以及更新后的词向量。