[发明专利]一种从维基百科半结构化数据自动构建分类树的方法

权利要求书

1.一种从维基百科半结构化数据自动构建分类树的方法，其特征在于，包括以下步骤：

第1步、半结构化数据的抽取：通过分析获取到页面的HTML，识别出含有半结构化数据的页面，所述半结构化数据指维基百科目录页面及维基百科条目页面中的导航表格；

第2步、半结构化数据中上下位关系的抽取：抽取维基百科目录页面中上下位关系和导航表格中上下位关系；

第3步、源于不同半结构化数据的上下位关系融合：依据抽取到的上下位关系集构建向有向无权简单图，然后基于图的深度优先遍历算法生成分类树。

2.根据权利要求1所述的一种从维基百科半结构化数据自动构建分类树的方法，其特征在于，第1步具体包括以下步骤：

第1.1步：从维基百科网站首页www.wikipedia.org开始，通过解析页面的超链接逐层爬取所有页面，依据页面URL前缀“http://en.wikipedia.org/wiki/”获取条目页面，依据URL前缀“http://en.wikipedia.org/wiki/Category:”获取目录页面，每个页面对应一个实体，页面标题为该实体的名字；

第1.2步：根据条目页面是否含有HTML标签<table class＝″navbox″>，筛选出含有导航表格的条目页面。

3.根据权利要求1所述的一种从维基百科半结构化数据自动构建分类树的方法，其特征在于，第1步具体包括以下步骤：

1)：通过Web页面爬取工具爬取维基百科首页http://www.wiki pedia.org/并进行解析，然后依据HTML标签<a>和</a>找出该页面中的所有匹配模式http/:∨∨[a-z]+/.wikipedia/.org∨的超链接，记为{head_link_i}_n，其中n表示所有不同语言的维基子网站数目；每个这样的超链接head_link_i对应一种语言的维基百科子网站，并且是该子网站的首页，枚举每个维基子网站首页的超链接head_link_i;

2)：构建空的哈希表，该哈希表用来记录某个页面是否已经被爬取过，使用页面的URL地址来标识不同的页面；

3)：设置当前爬取页面地址为当前维基子网站首页，current-link＝head_link_i;

4)：在HashSet查询current_link，如果命中，表明页面已经被爬取过，则不再爬取跳转到第8步；如果该页面没有爬取过，则通过Web页面爬取工具爬取该页面，并将该链接加入到HashSet中，即执行HashSet.add(current_link)；

5)：如果该页面URL前缀是“http://en.wikipedia.org/wiki/Category:”，则保存该页面到ArticleSet，并跳转到第7)步；

6)：如果该页面URL前缀是“http：//en.wikipedia.org/wiki/”，进一步判断该条目页面是否含有HTML标签<table class＝″navbox″>，如有则保存该页面到CategorySet；

7)：解析该页面，依据HTML标签<a>和</a>找出该页面中的所有超链接{hype rlink_i}_m，将所有这些超链接压入超链接栈LinkStack中，即LinkStack.pushAll({hyperlink_i}_m)；

8)：如果LinkStack不为空，current_link＝LinkStack.pop()，跳转到第4步；如果LinkStack为空，退出。