[发明专利]迭代式数据获取方法

说明书

本发明公开了一种迭代式数据获取方法，首先获取种子人物和组织名称，然后通过爬取网页获取人物、组织的社交账号，再通过Twitter爬取程序，获取社交账号的基本信息，以及社交账号的粉丝和关注。从Twitter信息表中筛选Twitter用户粉丝数大于nk的用户，存入重点账号库表。重点账号库表字段包括：重点账号ID，重点账号Twitter ID。通过爬取网页，获取Twitter账号对应人物、组织的Wikipedia页面URL，再根据获取的URL，爬取wikipedia页面，得到人物、组织的详细信息，以及循环迭代以上步骤，直至重点账号库中无新增的社交账号。本发明将“由人找社交账号”和“由社交账号找人”两种方式结合，提高了收集速度，减少了人力，可以在较短时间内收集大量的数据，满足构建知识图谱的数据需要。

技术领域

本发明属于数据处理技术领域，具体涉及一种迭代式数据获取方法。

背景技术

构建以人物、组织、社交账号为核心的知识图谱需要收集大量的人物/组织基本信息、人物/组织对应的社交账号以及这些社交账号之间的关系数据。目前这项工作主要靠人工找到一批人名/组织名，然后以”人名/组织名+Twitter”为关键字，输入搜索引擎搜索框中，找到人物/组织对应的Twitter账号，再使用爬虫技术获取Twitter账号的基本信息以及Twitter账号的粉丝与关注。同时，以“人名/组织名+Wikipedia”为关键字，输入搜索引擎搜索框中，找到人物/组织对应的Wikipedia页面链接，通过爬虫获取Wikipedia页面信息，再对Wikipedia页面的Infobox信息进行解析，得到人物/组织基本信息。整体流程如图1所示：

面向人物/组织以及社交账号信息的收集，现有技术方案主要利用人物/组织名来检索Twitter账号以及人物基本信息。而构建以人物、组织、社交账号为核心的知识图谱，需要百万级别的人物、组织，这就需要人工搜集大量人名/组织名。现有方案不仅耗费人工且收集的速度较慢。

发明内容

针对面向人物/组织以及社交账号信息的收集过程存在的耗费人工且收集的速度较慢问题，本发明提供一种“由人找社交账号”和“由社交账号找人”两种方式结合，迭代式收集人物、组织、社交账号信息的方法。

本发明解决其技术问题所采用的方案是：一种迭代式数据获取方法，该方法包括以下步骤：

第一步：获取种子人物、组织。

从官方网站，人工收集一些人物姓名、组织名称等，作为种子数据，存入种子数据库表。种子数据库表字段包括：人物/组织ID，人物/组织名称。

第二步：通过爬取网页获取人物、组织的社交账号。

通过Senlenium调用谷歌搜索引擎驱动，模拟谷歌搜索。以种子数据库表中的人名姓名/组织名称+“Twitter”为搜索词，爬取搜索页面。由于Google已经对搜索的结果进行排序，搜索结果靠前的匹配的可能性较大，为保障正确率，只取第一条结果进行匹配。使用正则表达式匹配爬取数据的第一条信息，获取到人物/组织的Twitter账号。若匹配到结果，则存入人物组织社交账号表，没有匹配到则爬取下一个人物/组织。人物组织社交账号表包含字段：ID、人物/组织名称、社交账号ID、社交账号名称。

第三步：通过Twitter爬取程序，获取社交账号的基本信息，以及社交账号的粉丝和关注。

调用Twitter开放的爬取API，获取Twitter账号的基本信息，存入Twitter信息表。Twitter信息表的字段包括：Twitter ID，Twitter昵称，Twitter用户名称，Twitter用户注册时间，Twitter用户简介，Twitter用户位置，Twitter用户发文数，Twitter用户关注数，Twitter用户粉丝数。

通过Twitter开放的爬取API，获取Twitter账号的关注与粉丝，存入Twitter关系表。Twitter关系表的字段包括：Twitter用户ID，Twitter用户关注ID。