[发明专利]开源软件主题自动标注方法有效
申请号: | 201210097159.0 | 申请日: | 2012-04-05 |
公开(公告)号: | CN102760149A | 公开(公告)日: | 2012-10-31 |
发明(设计)人: | 王怀民;尹刚;王涛;李翔;朱沿旭;史殿习;丁博;刘惠;滕猛;袁霖 | 申请(专利权)人: | 中国人民解放军国防科学技术大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京安博达知识产权代理有限公司 11271 | 代理人: | 徐国文 |
地址: | 410073 湖南*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 软件 主题 自动 标注 方法 | ||
1.一种开源软件主题自动标注方法,包括下列步骤:
步骤1、爬取开源社区,获取开源项目数据,所述项目数据包括开源项目名称、标签和项目描述,对所述项目描述和项目标签进行预处理,所述预处理包括:将所述项目标签转换为其词根后将相同词根的标签合并,删除标签数小于预定数目的项目,将项目描述转换为单词包;
步骤2、以开源项目的名称、标签和项目描述作为输入,应用带标注LDA模型,通过吉布斯抽样过程对输入数据进行训练,稳定后获得项目描述中某单词所指派的所有标签及计数,生成单词到标签指派,建立单词与标签之间的映射;
步骤3、根据生成的单词到标签指派构建标签网络,并计算其中节点的语义距离和语义内聚度;
步骤4、根据构建的标签网络对新项目进行自动标注,输入任意一个项目p的名称及其描述,对描述中每一个词在标签网络中查找,得到描述中每个不同单词i各自的标签集合Li,在每个Li中挑选一个标签1i,使语义内聚度Cohesion(L)最大,其中L={11,12,13,...,1i,...,1n},将满足条件的标签自动标注到新项目中。
2.如权利要求1所述的方法,其中步骤2进一步包括:
步骤2.1、将LDA模型中的主题个数T设置为输入数据中的标签个数,设置吉布斯抽样的循环次数N;
步骤2.2、初始化每个单词的所属标签,将项目描述中的每个单词的每次出现指派到该项目所具有的其中任意的两个标签。
步骤2.3、使用倒塌的吉布斯抽样(collapsed Gibbs sampling)对每个单词的每次出现的标签进行重新指派,并将该步骤迭代N次,以达到稳定状态;
步骤2.4、通过在迭代次数大于N的多次结果中进行抽样,记录稳定状态下每个不同单词的标签指派,根据每个单词的每次出现所赋予的标签,获得某单词被赋予某标签的次数,亦即某标签对应到某单词的次数。
3.如权利要求2所述的方法,其中步骤2.3中,所述重新指派满足下列条件:每次迭代对每个单词zi重新指派到某标签k,以使概率公式取最大值:
指在其他单词出现赋予了标签的条件下,某单词t的一次出现zi被赋予标签k的条件概率,等式右边第一项表征单词t被指派到标签k的概率,第二项表示zi所在的文档m含有标签k的概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科学技术大学,未经中国人民解放军国防科学技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210097159.0/1.html,转载请声明来源钻瓜专利网。