[发明专利]基于在线增量演化主题模型的软件自动分类方法

权利要求书

1.一种基于在线增量演化主题模型的软件自动分类方法，包括下列步骤：

步骤1获取软件相关文本，所述软件相关文本包括开源软件的项目名称、项目主题标签、项目描述文本以及项目创建时间，如果所述项目主题标签为空，则将其设置为未标注，以预定时间片进行分组和预处理；

步骤2基于扩展LDA模型，生成在线演化主题模型的概率模型，针对预处理后的以时间片分组的项目描述文本，计算最优主题个数，在最优主题个数的基础上依据所述在线演化主题模型的概率模型增量式计算当前时间片内项目描述文本的主题词汇分布和主题文本分布，所述主题词汇分布和所述主题文本分布可使用矩阵表示。

步骤3获取未知分类主题的文本d，根据步骤2中生成的所有时间片的主题词汇分布和主题文本分布计算所述文本d从属的n个主题的主题词汇分布，并选择排序靠前的若干个主题作为所述文本d的文本主题，从而将所述文本d分类到相应的主题中；

步骤4基于词汇表和基于词汇本体查询的方法，为主题自动添加语义标签，其中所述词汇表基于步骤1中爬取到的所有软件项目对应的已标注预设主题标签构建，所述词汇本体进行没有匹配到任何预设标签的聚类主题中核心词汇的上位概念的查询。

2.如权利要求1所述的方法，其中步骤1中，所述以预定时间片进行分组进一步包括：根据所述项目创建时间将所有项目描述文本按照 时间升序排列，并按照时间片Δt为单位将所有项目描述文本分组，对每个分组的软件相关文本进行预处理。

3.如权利要求1所述的方法，其中步骤1中，所述预处理包括：通过词根提取将所述项目主题标签转换为其词根，并将相同词根的标签合并，删除标签数小于预定数目的项目，针对所述项目主题标签生成预设主题词汇表；将项目描述文本转换为单词包。

4.如权利要求1所述的方法，其中步骤2中，所述生成在线演化主题模型的概率模型的步骤进一步包括：以步骤1中各个分组的项目名称、项目描述文本为输入，通过吉布斯抽样过程对输入数据进行训练，生成文本流中的聚类主题及主题数目，所述聚类主题是指将项目描述文本中的词汇进行分类，有相同特征的词汇聚集到一起而形成的集合，集合中的词汇称为核心词汇。

5.如权利要求1所述的方法，其中步骤2中，所述在线演化主题模型的概率模型中使用先验概率参数 所述先验概率参数表示文本集合C_ts中的词汇出现之前抽样词汇在主题k中出现的概率，是当前文本集合C_ts进行抽样的先验。

6.如权利要求1所述的方法，其中步骤2中，计算所述最优主题个数的步骤包括，使用Kullback-Leibler距离衡量两个主题词汇分布的相对差距，其计算公式如下：

其中z_p和z_q表示两个主题，每个主题用一个概率向量表示，向 量的第i个分量 和 表示第i个词汇属于主题z_p和z_q的概率，W表示两个主题共有词汇数目，KL(z_p||z_q)的数值越大表示两个主题越不相似，当KL(z_p||z_q)＝0的时候表示两个主题完全相同，如果这个值小于一个阈值，则认为两个主题是相似或者相同主题并进行合并。

7.如权利要求1所述的方法，其中步骤2中，所述增量式计算是指每次计算一个时间片内项目描述文本的主题分布，然后利用已经计算得到的之前的历史时间片的主题分布参数来估计当前所有文本的主题分布。

8.如权利要求1所述的方法，其中步骤3中还包括下列步骤：查找所述未知分类主题的文本d从属的时间片ts，计算所述文本d在最优化主题个数 中的分布概率θ(d)(ts)，将 按照概率从大到小的顺序排列，取概率排序靠前的n个主题t₁，t₂，...，t_n作为所述文本d的分类主题位置。