[发明专利]面向科技需求的主题提取方法、装置和存储介质

说明书

本发明提供一种面向科技需求的主题提取方法、装置和存储介质，所述方法包括：获取科技需求文本数据，所述科技需求文本数据中携带行业领域一级主题类别标签；基于属于同一一级主题类别的科技需求文本数据分别获得单词向量和文档向量；利用基于深度学习的主题模型基于所述单词向量和文档向量获取主题词向量表示和主题词集；以主题词向量为基础基于预定的聚类数目对科技需求文本数据进行聚类；利用文本排序算法对主题词集内的主题词作为关键词进行提取并对提取的主题词进行排序，根据主题词得分筛选出作为二级聚类主题类别标签词的主题词，并将得分最高的主题词作为本类别二级主题代表。本发明提高了科技资源信息主题提取的准确率。

技术领域

本发明涉及自然语言处理技术领域，具体是一种面向科技需求的主题提取方法、装置和存储介质。

背景技术

科研成果有大量领域分类与主题分析方面的研究，但企业对科研成果中的相关科技需求数据却少有研究。科技需求是科技大数据中各个类别数据资源的一种，属于社会企业技术需求的范围，主要是企业业务运转中所需要解决的技术难题与技术要求。目前，小网站收录的数据繁杂噪音多，数据语义稀疏，且没有细分类别，使得科技需求描述的主题不明确，导致对于科技需求的主题发展规律分析不够准确，从而使得。

现有一种主题提取模型为基于概率的隐含狄利克雷分布（Latent DirichletAllocation，LDA）模型，应用数学原理中的先验知识数学概率分布进行主题提取。现有模型中关键词抽取模式为基于统计特征的关键词提取，其基于TF（Term Frequency）/TF-IDF（Term Frequency–Inverse Document Frequency），利用文档中词语的统计信息抽取文档的关键词。现有的这种模型只应用了数学原理找到词的分布规律或者词频进行主题提取，但没有考虑文本语义信息，从而使得数据语义提取不准确的问题。

于是，发展出了融合LDA主题差异度和长短期记忆网络（Long Short-TermMemory，LSTM）语义信息的关键词抽取方法，其加入了LSTM表示的标题向量与LDA提取的关键词向量之间语义相似度，并考虑了主题语义之间的差异度重新构建TextRank的状态矩阵进行主题提取，该方法基于标题这样的高质量文本语义来验证提取的文本主题是否接近标题语义。但这种方法没有充分利用标题信息，而本文对科技需求数据的主题提取要包含标题和内容两个方面，因此需要利用高质量的标题充分提取主题特征。

因此，如何克服现有技术中的问题，综合考虑多个维度进行主题提取，从而提高科技资源信息主题发现的准确率，还是一个有待解决的问题。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种科技需求的主题提取方法、装置，通过结合Textrank与LDA2vec改进的主题提取方法对各领域分类中的主题进行抽取，通过结合词汇的重要性、语义关系和上下文整体与词汇的联系确定主题。

本发明的一个方面，提供了一种面向知识产权的科技资源画像构建方法，该方法包括以下步骤：

获取科技需求文本数据，所述科技需求文本数据中带有行业领域一级主题类别标签；

基于同一一级主题类别的科技需求文本数据分别获得单词向量和文档向量；

利用基于深度学习的主题模型基于所述单词向量和文档向量获取主题词向量和主题词集；

以所述主题词向量为基础，根据每篇文档中初步提取的主题词集，按照预定的聚类数目对科技需求文本数据进行二级聚类；

利用文本排序算法对主题词集内的主题词作为关键词进行提取并对提取的主题词进行排序，根据主题词得分筛选出作为二级聚类主题类别标签词的主题词，并将得分最高的主题词作为本类别二级主题代表。

在本发明一些实施方式中，所述科技需求文本数据为跨领域的科技需求文本数据；

所述基于深度学习的主题模型为LDA2vec模型；