[发明专利]基于IT技术问答网站的计算机技术领域发展趋势分析方法

说明书

本发明公开了一种基于IT技术问答网站的计算机技术领域发展趋势分析方法，包括：识别技术领域关键字；以关键字为初始输入，识别IT技术问答网站上与该技术领域相关的标签，基于标签提取并过滤该技术领域的相关帖子；按照领域内的不同技术平台划分数据集；从该技术领域的多项代表性技术平台中，提取该技术领域的参考架构；在每一个子数据集上采用LDA主题模型对数据集进行聚类，其中以梯度式搜索方法确定最佳主题数量；将主题与参考架构进行映射，确定主题名称；设置评估指标，分析该技术领域内不同主题、不同层次的知识的发展趋势。本发明以IT技术问答网站中某技术领域知识的帖子为数据集，分析该技术领域知识的发展趋势。

技术领域

本发明涉及计算机大数据分析技术领域，具体涉及一种基于IT技术问答网站的计算机技术领域发展趋势分析方法。

背景技术

IT技术问答网站是计算机领域从业者常用的技术知识交流平台，网站中通常包含了数以百万计的帖子，涵盖编程、移动、安全、算法等与软件开发和维护相关的主题。其参与者中有相当一部分人在不同的领域有着深厚的专业知识。开发人员会询问关于各种领域的技术问题，主题多样。因此，IT技术问答网站成为了计算机各个技术领域的知识库，其丰富的数据集也成为研究者们重要的研究对象，Stack Overflow问答网站便是其中之一。

参考架构描述了某个技术领域的重要组件以及各个组件的关系，它为软件系统建立了一个共同的机制，以提高系统及各组件之间的互操作性，为特定领域的软件系统提供了通用构件、体系结构样式和领域词汇表等，有助于统一体系结构的描述。已有的经典参考架构包括计算机网络的参考体系模型等。

主题模型是一种从给定文本语料库中确定其主题的数据分析模型，它将文档视为主题的概率分布，将主题视为单词的概率分布。潜在狄利克雷分布(latent Dirichletallocation，简称LDA)主题模型是著名的主题模型之一，它以文档词汇矩阵a(a_ij表示第j个词汇在第i个文档中出现的次数)为输入，得出文档主题矩阵b(b_ij表示第i个文档属于第j个主题的概率)与主题词汇矩阵c(c_ij表示第j个词汇属于第i个主题主题的概率)，将每个帖子属于的最高概率的主题作为该帖子的主题，再将分配同一主题的帖子分为一组。LDA主题模型已被大量应用于分析技术领域的信息数据，并为软件工程提供经验。

发明内容

本发明提出一种基于IT技术问答网站的计算机技术领域发展趋势分析方法，以IT技术问答网站中某技术领域知识的帖子为数据集，提取该技术领域的参考架构，采用潜在狄利克雷分布(latent Dirichlet allocation，简称LDA)主题模型进行聚类，获取该技术领域内各个主题、各个层次的知识讨论情况，通过设置各项评估指标，分析该技术领域知识的发展趋势。

一种基于IT技术问答网站的计算机技术领域发展趋势分析方法，该方法包括以下步骤：

步骤1：数据采集与划分，具体包括：

识别技术领域关键字，以关键字为输入识别技术领域标签，提取该技术领域的标签，基于标签提取并过滤IT技术问答网站中该技术领域的相关帖子，获取数据集，随后按照目标领域的不同技术平台划分数据集，形成多个子数据集。

步骤2：提取技术领域的参考架构。

步骤3：确定主题与数据处理，具体包括：

对步骤1得到的数据集进行预处理，以一种优化的梯度式搜索方法确定LDA主题模型的最佳主题数量，随后分别在每个子数据集上采用LDA主题模型对子数据集按主题进行聚类，并自动化命名主题；

步骤4：将步骤3获得的主题与步骤2获得的该技术领域的参考架构进行匹配；

步骤5：设置评估指标进行度量，分析技术领域的知识发展趋势。