[发明专利]基于IPFS的数据获取方法及系统

说明书

本发明涉及一种基于IPFS的数据获取方法及系统，对存储在IPFS的数据建立了去中心化混合索引，将文本存入IPFS得到文本标识符；选取对文本区分度高的词作为关键词；对关键词进行哈希运算，与文本标识符组成关键词索引；由文本中心语句的关键词计算文本的句子索引；使用分布式哈希表存储索引文件。数据请求者发起查询请求时，根据查询语句长度决定执行关键词索引或者句子索引，在执行句子索引时，无法精确匹配的情况下，因为相似内容的句子索引相邻存储，在存储句子索引的节点附近进行搜索。本发明能够实现去中心化混合索引的建立与查询功能，从而满足IPFS数据获取的需求。

技术领域

本发明涉及信息技术领域中的信息处理技术、信息检索领域，尤其涉及一种基于IPFS的数据获取方法及系统。

背景技术

IPFS创造了一个点对点的分布式文件系统，升级了现有的网络结构，实现了真正意义上的去中心化存储。IPFS为解决数据的规模量级不断提高，提供了一个去中心化的优良存储方案，它在满足海量数据存储需求的同时，还可以有效的进行数据的共享。每一个上传到IPFS存储的文件，都会有一个唯一的文件标识符。目前IPFS仅支持基于文件标识符的寻址方式，资源请求者需要准确提供文件标识符才能请求相应文件。由于缺乏相应的搜索功能，资源请求者很难通过关键词或者其它描述信息获取相关文件。

ipfs-search是github上的一个开源项目，该项目尝试在IPFS上建立一个通用的搜索引擎。ipfs-search是一种基于Elasticsearch的集中式搜索引擎，通过利用IPFS的日志监听其它对等节点添加文件事件。ipfs-search的服务器需要监听DHT的记录更新，使用ipfs-tika提取元数据和内容，使用Elasticsearch建立索引并提供搜索服务。

Siva为IPFS建立一个去中心化的搜索引擎，提取文档关键字建立关键词和标识符的倒排索引，使用分布式哈希表存储索引文件。

在现有的技术中存在以下问题：

1)集中式索引削弱IPFS的去中心化程度，并限制了IPFS的可伸缩性；

2)数据获取方式没有充分考虑到长短查询语句之间的区别，将长查询语句分词为多个关键词进行搜索会对网络造成更多的负担。

针对IPFS数据搜索与获取过程中所面临对的挑战，本发明提供了一种基于IPFS的数据获取方法及系统。

发明内容

本发明目的在于，针对现有技术中的不足，提供一种基于IPFS的数据获取方法及系统，对存储在IPFS的数据建立了去中心化混合索引，将文本存入IPFS得到文本标识符；选取对文本区分度高的词作为关键词；对关键词进行哈希运算，与文本标识符组成关键词索引；由文本中心语句的关键词计算文本的句子索引；使用分布式哈希表存储索引文件。数据请求者发起查询请求时，根据查询语句长度决定执行关键词索引或者句子索引，在执行句子索引时，无法精确匹配的情况下，因为相似内容的句子索引相邻存储，在存储句子索引的节点附近进行搜索。本发明能够实现去中心化混合索引的建立与查询功能，从而满足IPFS数据获取的需求。

本发明所述的一种基于IPFS的数据获取方法，按下列步骤进行：

a、获取文本在IPFS的标识符，对所述文本进行预处理，获取文本关键词及中心语句，训练词向量模型，建立关键词索引，建立句子索引；

b、为索引存储节点分配节点地址，组成分布式哈希表，以存储索引文件；

c、根据查询语句长度决定执行的索引机制，检查缓存，执行搜索，得到最终的搜索结果；

d、发布查询的节点根据规则，将查询语句及查询结果加入缓存或者对缓存进行更新。

步骤a中获取文本在IPFS的标识符：是将待存储文本存入IPFS后，得到一个唯一标识所述文本的标识符；