[发明专利]一种非结构化数据传输系统及交互方法在审
申请号: | 201911257329.5 | 申请日: | 2019-12-10 |
公开(公告)号: | CN111190991A | 公开(公告)日: | 2020-05-22 |
发明(设计)人: | 陈书平;于长琦;王绪繁;高宏伟;郭颖;姜志山;刘晓峰;李栋梁 | 申请(专利权)人: | 华能集团技术创新中心有限公司;华能信息技术有限公司 |
主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/33;G06F16/182 |
代理公司: | 北京和信华成知识产权代理事务所(普通合伙) 11390 | 代理人: | 席卷 |
地址: | 100031 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 结构 数据传输 系统 交互 方法 | ||
1.一种非结构化数据传输交互方法,其特征在于,包括如下步骤:
步骤100、将云存储空间按照非结构化数据的类型划分为若干个分布式存储模块,并且利用空间模拟法将所述分布式存储模块划分为若干个子存储集群;
步骤200、在相邻两个所述子存储集群之间设置虚拟通道,架设数据前端源头与所述子存储集群之间匹配对应的传输通信链路;
步骤300、创建交互记录池,将所述子存储集群中的数据根据统计的客户端请求次数高低在所述交互记录池中备份;
步骤400、按照所述客户端、所述交互记录池和所述集群区块的通信路径构建双向交互通信链路。
2.根据权利要求1所述的一种非结构化数据传输系统及交互方法,其特征在于,在步骤100中,所述空间模拟法将任一个所述分布式存储模块按照三维矩阵划分为若干个立体分布的所述子存储集群,同一个类型的数据流按序存储在不同立体位置的所述子存储集群内。
3.根据权利要求2所述的一种非结构化数据传输系统及交互方法,其特征在于,根据所述子存储集群分布特征,设定数据流在所述子存储集群和网格存储位置中的存储方式的具体实现步骤为:
沿着立体分布的所述子存储集群的三个直角相交的棱边构建三维直角坐标系;
在所述三维直角坐标系内标记每个所述子存储集群的三维坐标;
具体设定数据流先顺次按照上下层的方式存储,然后在每层子存储集群按照每行每列的方式保存。
4.根据权利要求2所述的一种非结构化数据传输系统及交互方法,其特征在于,同一个所述数据前端源头可以匹配多个所述子存储集群,所述交互记录池的个数与所述数据前端源头的分类数量相同。
5.根据权利要求4所述的一种非结构化数据传输系统及交互方法,其特征在于,选择性删除所述交互记录池中的备份数据以保持所述交互记录池中的紧急冗余空间,所述选择删除备份数据的执行标准为:
先在备份数据中按照查询交互时间前后顺序删除数据;
再选择删除查询交互频数低的具体备份数据。
6.根据权利要求1所述的一种非结构化数据传输系统及交互方法,其特征在于,在步骤300中,从所述云存储空间内申请创建交互记录池的空间,并且所述交互记录池的备份数据与所述子存储集群内的数据相同。
7.根据权利要求6所述的一种非结构化数据传输系统及交互方法,其特征在于,在步骤300中,统计的客户端请求次数高低,并将客户端请求次数高的数据在所述交互记录池临时部分存储,具体的实现步骤为:
获取客户端对子存储集群内的数据请求查询的关键词;
统计不同关键词的请求查询次数,确定响应每个关键词的数据所在的子存储集群坐标;
将客户选择频数由高到低的数据依次保存在所述交互记录池内,同时保存查询次数频数由高到低的关键词集合;
将关键词集合中的单个元素所在的子存储集群坐标集合保存在所述交互记录池内。
8.根据权利要求7所述的一种非结构化数据传输系统及交互方法,其特征在于,所述客户端请求数据交互时,先将请求语句在所述交互记录池内的备份数据进行一次对比;
再将请求语句在所述交互记录池内的所述关键词集合二次对比,在配对的关键词所在的子存储集群坐标集合内查询具体的数据;
最后在整个子存储集群内查询响应请求语句的数据。
9.一种根据权利要求1-8所述的非结构化数据传输交互系统,其特征在于,包括:
云存储空间分化模块,用于将云存储空间划分为若干个分别存储不同文件类型的分布式存储模块;
存储模块拆分单元,用于将分布式存储模块拆分为三维立体矩阵分布的子存储集群;
交互记录单元,用于保存所述子存储集群中请求查询次数高的数据和保存请求语句集合;
交互通信链路单元,用于构建响应客户端请求语句的备份数据。
10.根据权利要求9所述的一种非结构化数据传输交互系统,其特征在于,还包括数据传输链路单元,所述数据传输链路单元在所述数据前端源头与多个所述子存储集群之间可以分布多条链路,所述交互通信链路单元在所述数据前端源头与多个所述子存储集群之间有且只有一条链路。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华能集团技术创新中心有限公司;华能信息技术有限公司,未经华能集团技术创新中心有限公司;华能信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911257329.5/1.html,转载请声明来源钻瓜专利网。