[发明专利]一种以人员为中心的多源海量数据关联搜索方法和系统有效
申请号: | 201910911014.1 | 申请日: | 2019-09-25 |
公开(公告)号: | CN110781213B | 公开(公告)日: | 2022-04-22 |
发明(设计)人: | 马万里 | 申请(专利权)人: | 中国电子进出口有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/25;G06F16/22 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
地址: | 100036 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 人员 中心 海量 数据 关联 搜索 方法 系统 | ||
1.一种以人员为中心的多源海量数据关联搜索方法,其特征在于,包括以下步骤:
定义数据元素规范、本体模型和关系模型,构建以人员为中心的知识森林体系;
将数据源与本体模型、关系模型进行绑定,并将多源海量数据融入知识森林体系;
在构建的知识森林体系中进行跨数据源的关联搜索;
所述将多源海量数据融入知识森林体系,包括以下步骤:
为数据源添加流水编号自增序列,作为数据增量式导入的依据;
从最后完成导入的流水编号开始,计算剩余待导入的数据量;
对待导入数据进行分包封装,将待导入任务拆分为若干个数据包的导入任务;
将数据包导入任务分发至大数据集群节点,实现多个数据包的并行导入;
对于本体模型数据导入任务,首先验证待导入本体在知识森林体系中是否已经存在,若尚未存在则创建一个新的本体节点,否则跳过创建操作,然后将本体的数据元素信息追加至知识森林体系中,本体节点与数据元素之间通过唯一标识创建关联索引;
对于关系模型数据导入任务,首先验证待导入关系在知识森林体系中是否已经存在,若尚未存在则创建一条新的关系边,否则跳过创建操作,然后将关系的数据元素信息追加至知识森林体系中,关系边与数据元素之间通过唯一标识创建关联索引;
对数据包的导入状态进行记录,支持重新执行失败的数据包导入任务。
2.根据权利要求1所述的方法,其特征在于,对搜索结果进行分类统计、字段排序、条件筛选和二次搜索,帮助用户快速、精准地定位到目标结果。
3.根据权利要求1所述的方法,其特征在于,所述数据元素规范的内容包括:数据元素中文名称、数据元素英文名称、数据元素存储类型、数据元素正则表达式;然后依据所述数据元素规范定义所述本体模型,所述本体模型包括本体模型代码、本体中文名称、本体英文名称、本体数据元素、本体标签库,并指定一个或多个数据元素作为本体模型实例的唯一标识;所述本体模型分为本体大类模型和本体小类模型,本体大类模型是指对一类客观事物的抽象概念描述,本体小类模型是在本体大类模型的基础上具象出来的对特定客观事物的描述,自动继承本体大类模型的所有数据元素,并允许按需追加数据元素。
4.根据权利要求3所述的方法,其特征在于,所述本体大类模型划分为三个层级,根据与人员本体大类的关联程度进行划分;其中,人员本体大类作为第一层级,与人员直接关联的本体大类作为第二层级,与人员无直接关联的本体大类作为第三层级。
5.根据权利要求1所述的方法,其特征在于,在所述本体模型之间定义所述关系模型,包括关系模型代码、关系中文名称、关系英文名称、起点本体模型、终点本体模型、关系数据元素;关系模型实例的唯一标识由以下三元组表达:(关系模型代码,起点本体模型实例唯一标识,终点本体模型实例唯一标识)。
6.根据权利要求1所述的方法,其特征在于,所述将多源海量数据融入知识森林体系,包括:
根据构建的数据绑定关系,对数据源中的数据进行抽取,并按照对应数据元素的规范要求进行格式转换,将多源海量数据导入统一的知识森林体系,数据导入工作支持增量式更新,更新频率能够按需设定。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电子进出口有限公司,未经中国电子进出口有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910911014.1/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置