[发明专利]一种基于数据采集的高端人才数据库构建方法

说明书

本发明公开了一种基于数据采集的高端人才数据库构建方法，涉及计算机数据挖掘技术领域，一共包括五个步骤：步骤一：创建高端人才数据库及设计表结构；步骤二：通过动态检索的数据采集技术在各搜索引擎中获取全网高端人才名和所属机构名；步骤三：根据存储的高端人才名和所属机构名来对人才信息表中的其他维度信息进行补全；步骤四：进行人才合作关系匹配，构建关系图谱；步骤五：实现人才数据可视化，生成高端人才画像和人才地图。本发明实现了对全网高端人才信息的采集、存储、分析和可视化的流程，提高了对高端人才数据库中存储信息的准确性，同时还保证了数据源的持续增加和人才信息的实时更新，方便企业机构更加便捷的寻找所需要的高端人才。

技术领域

本发明属于计算机数据挖掘技术领域，具体涉及一种基于数据采集的高端人才数据库构建方法。

背景技术

高端人才是目前各个城市、企业机构的首要引进目标，能够推动该城市所在地的高端领域技术的创新发展，提高核心竞争力，目前最常用人才引进手段包括通过猎聘手段寻找行业关键人才，但是这需要付出较高的看护成本，对于一些全能型人才的挖猎难度相对更大，并且对于高端人才的资源也相对较少；部分还通过提升内部绩优人才以补充关键人才，但是需要花费较长的时间来建立内部人才梯队，耗费时间长且效果也并不明显；此外还有部分企业机构直接在互联网搜索引擎中根据关键词进行检索，但是所获取的信息十分有限，并且搜索结果的准确率也不高，目前各行业的高端人才信息也都非常分散，不便汇总，对人才引进工作造成了不便。

发明内容

针对目前存在的寻找行业高端人才成本高、难度大、耗费时间长且效果也并不明显，在互联网搜索引擎中根据关键词进行检索，所获取的信息十分有限，并且搜索结果的准确率也不高，且各行业的高端人才信息也都非常分散，不便汇总的缺陷和问题，本发明提供一种基于数据采集的高端人才数据库构建方法。

本发明解决其技术问题所采用的方案是：一种基于数据采集的高端人才数据库构建方法，包括以下步骤：

步骤一：搭建用于汇集高端人才信息的数据库及设计表结构，其中人才信息表中具有包含多项属性的高端人才基本信息，用于辅助人才身份验证和人才关系分析；

步骤二：根据设定好的检索条件基于数据采集技术在搜索引擎中深度检索，对全网高端人才基本信息进行采集汇总，并筛选出包含高端人才名和机构名的人才信息详情页链接，再将高端人才名和机构名信息存储到人才表中，作为新的检索条件再次检索；

步骤三：根据已存储的高端人才名和所述机构名在搜索引擎中进行搜索，同时对生成的页面数据进行过滤处理，筛除不必要的人物标签，将符合高端人才信息的数据更新至对应的人才信息表中，从而实现对高端人才其他各项维度信息进行补全；

步骤四：进行人才合作关系匹配，构建关系图谱，根据采集到的高端人才信息，提取出具有合作关系的信息，将其按照合作关系程度进行排序并更新至人才表中的关系图谱字段中，同时将未收录的人才添加至人才库中，继续进行步骤二的采集任务；

步骤五：根据已存储的数据进行分析和展示，通过收录的人才信息生成各地区各行业的人才画像和人才地图，实现高端人才数据可视化。

作为本发明的一种优选技术方案，所述步骤一中创建的汇集高端人才信息的设计表包括人才表、论文表、专利表、项目表和新闻资讯表。

作为本发明的一种优选技术方案，所述步骤二中通过爬虫系统读取数据库中设定好的检索条件生成采集任务，并在搜索引擎中搜索出与关键词相关的列表页内容。

作为本发明的一种优选技术方案，所述步骤二中对搜索得到的列表页内容进行智能解析，以筛选出其中具有高端人才信息的详情页链接。

作为本发明的一种优选技术方案，所述步骤三中通过设置过滤词汇和特征词汇，对搜索引擎中输出的与高端人才重名的信息进行清洗筛除，以输出符合高端人才信息的数据。