[发明专利]基于IT技术问答网站的计算机技术领域发展趋势分析方法

权利要求书

1.一种基于IT技术问答网站的计算机技术领域发展趋势分析方法，其特征在于，包括以下步骤：

步骤1：识别技术领域关键字，以关键字为输入识别技术领域标签，提取该技术领域的标签，基于标签提取并过滤IT技术问答网站中该技术领域的相关帖子，获取数据集，随后按照目标领域的不同技术平台划分数据集，形成多个子数据集；

步骤2：提取技术领域的参考架构；

步骤3：对步骤1得到的数据集进行预处理，以一种优化的梯度式搜索方法确定LDA主题模型的最佳主题数量，随后分别在每个子数据集上采用LDA主题模型对子数据集按主题进行聚类，并自动化命名主题；

以一种优化的梯度式搜索方法确定LDA主题模型的最佳主题数量，具体包括：

从文档词汇矩阵中统计每个帖子的高频词汇，统计完成后将各个帖子的高频词汇和最高频词汇进行汇总，将最高频词汇的总个数作为主题数量的最小值k_min，结合高频词汇个数，确定主题数量的最大值k_max；

随后，以主题数量搜索范围 [k_min,k_max] 、递减式梯度数组g为输入，以当前梯度设置等差的主题数量数组k，遍历k中的每个主题数量并衡量该主题数量的效果，遍历完成后获得当前主题数量数组中最优的主题数量k_top，再以k_top为中心，下一个梯度为半径，设置新的主题数量数组并重复以上步骤；

若当前主题数量数组中有多个主题数量的效果接近于k_top，则一并选取这些主题数量，依次以这些主题数量为中心，下一个梯度为半径，设置新的主题数量数组并重复以上步骤，当梯度数组遍历完后搜索结束，得出最优的主题数量k_opt；

分别在每个子数据集上采用LDA主题模型对子数据集按主题进行聚类，具体是指：

将最优的主题数量k_opt作为LDA主题模型的主题数，在每个子数据集上使用LDA主题模型，输出每个帖子属于每个主题的概率矩阵，将其中最高概率的主题作为该帖子的主题，并将同一主题的帖子归为一组；

步骤4：将步骤3获得的主题与步骤2获得的该技术领域的参考架构进行匹配；

步骤5：设置评估指标进行度量，分析技术领域的知识发展趋势。

2.根据权利要求1所述的基于IT技术问答网站的计算机技术领域发展趋势分析方法，其特征在于，步骤1中，识别技术领域关键字，以关键字为输入识别技术领域标签，提取该技术领域的标签，具体包括：

识别目标技术领域的关键字，以关键字为输入，提取IT技术问答网站中该技术领域内所有帖子的候选标签，对于每个候选标签t，计算该技术领域内包含候选标签t的问题帖数量a、所有领域内包含候选标签t的问题帖数量b、该技术领域内的问题帖总数c，令E_tag=a/b,表示候选标签t与该技术领域知识的相关程度，令S_tag=a/c，表示包含候选标签t的帖子数量在该技术领域帖子中的占比，通过设置E_tag、S_tag不同的阈值，筛选提取该技术领域的标签。