[发明专利]一种面向海量非结构化数据内容可查询可追溯的高可靠知识库构建方法有效
申请号: | 202110216317.9 | 申请日: | 2021-02-26 |
公开(公告)号: | CN112966126B | 公开(公告)日: | 2021-09-17 |
发明(设计)人: | 徐超;陈勇 | 申请(专利权)人: | 南京审计大学 |
主分类号: | G06F16/41 | 分类号: | G06F16/41;G06F16/432;G06F16/483;G06N3/04 |
代理公司: | 南京天华专利代理有限责任公司 32218 | 代理人: | 刘畅;徐冬涛 |
地址: | 210000 江苏省*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 海量 结构 数据 内容 查询 追溯 可靠 知识库 构建 方法 | ||
1.一种面向海量非结构化数据内容可查询可追溯的高可靠知识库构建方法,其特征在于它包括:
(1)输入非结构化原始数据,采用二级结构进行存储:云端存储原始数据,区块链以交易的方式存储原始数据的摘要特征及原始数据之间的联系;原始数据的摘要特征及原始数据之间的联系通过区块的交易T表示:
T=E,H,ID,S,A
式中,E表示交易证据,H表示交易数据的哈希、ID表示交易号、S表示数据发送方的数字签名、A表示交易摘要;交易摘要A用来存储交易特征的信息,包括两个部分:
a)根据交易类型给出的基本特征,用A1表示;
b)根据上传的证据信息,利用非结构化特征提取模型自动提取的非结构化数据的元特征,用A2表示;
(2)输入查询条件,自动提取查询条件的摘要信息作为查询依据;
(3)将查询依据与区块链中的信息进行相关度匹配,返回直接相关结果及其该结果的前驱后继关系;具体步骤为:
(3-1)首先查看查询依据是否有关键字:如果有,则根据关键字,区块链中的每个节点i按照完全匹配的原则,在各自所保存的每个区块每个交易的A1字段进行搜索,找到匹配项构成匹配交易列表L1后进行步骤(3-2);如果无关键字,则直接进行步骤(3-3);
(3-2)每个节点将各自找到的匹配交易列表L1分别广播,由区块链的共识机制进行共识,如果共识成功则将该交易加入到匹配列表EXR中;进一步判断,如果该交易的摘要中有特征字段,则将该交易的特征字段加入到特征列表SBL中;
(3-3)检测查询依据中是否有非结构化数据,如果有,则根据待查询的非结构化数据提取的特征,将其加入到SBL中,然后按照皮尔逊相似度比较方法,每个节点对各自保存的区块链中每个区块的每个交易的A2字段与SBL中的每个特征项进行相似度计算,将相似度大于阈值的交易提取出来,构成匹配交易列表L2;
(3-4)每个节点将各自找到的匹配交易列表L2分别广播,由区块链的共识机制进行共识,如果共识成功则将该交易的加入到匹配列表EXR中;
(3-5)依次遍历EXR中的每个交易,利用区块链的溯源机制,从其证据字段中找到与这个交易对应的所有相关交易,最后一并返回给查询者。
2.根据权利要求1所述的方法,其特征在于交易证据E分为两大类:
a)区块链上已有的证据;
b)输入的非结构化原始数据,作为交易证据E的非结构化原始数据需要上传至云端,云端地址作为交易证据的地址;
E的计算方式为E=∪e,e∈ID|e∈Addr,其中,ID表示所有交易号的集合,Addr是所有云端地址的集合,e表示由交易号或者云端地址构成的序列的集合。
3.根据权利要求1所述的方法,其特征在于交易数据的哈希H对交易的一致性进行校验,其计算公式为:
其中,ID表示所有交易号的集合,Addr是所有云端地址的集合;Hash(e)表示对e所对应的交易号进行hash;Hash(*e)表示对e所对应的云端地址中的数据进行hash。
4.根据权利要求1所述的方法,其特征在于所述非结构化特征提取模型基于深度学习方法构建。
5.根据权利要求1所述的方法,其特征在于查询条件是结构化数据或非结构化数据,其中:
-结构化数据:直接以关键字作为查询依据;
-非结构化数据:根据非结构化数据的数据类型,利用对应的深度学习模型自动提取相应的摘要信息作为查询依据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京审计大学,未经南京审计大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110216317.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种无感紧凑型电阻
- 下一篇:一种基于数据驱动的变电站三维模型建立方法和装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置