[发明专利]一种基于IPFS的分布式并行高速读写系统及方法

说明书

本发明属于分布式存储技术领域，具体涉及一种基于IPFS的分布式并行高速读写系统及方法，所述系统包括：客户端、服务控制端和若干对等的分布式副本节点；所述服务控制端根据各个副本节点的运行参数，计算各个副本节点的推荐值，根据计算得到的推荐值，建立推荐值最高的对应的副本节点与客户端的连接；客户端与副本节点建立连接后，完成数据的读取过程和数据的写入过程；具有智能化程度高、效率高和安全性高的优点。

技术领域

本发明属于分布式存储技术领域，具体涉及一种基于IPFS的分布式并行高速读写系统及方法。

背景技术

分布式数据处理成为当下实现云计算和大数据技术的基础，分布式存储系统会部署多个集群，每个集群中一般有一个总控节点，其它节点为工作节点，由总控节点根据全局负载信息进行整体调度。分布式存储系统中的数据会被保存为多个副本，一般来说，其中一个为主副本，其它副本为备副本。

在数据写入时，客户端将写请求发送给主副本，主副本通过复制协议(强一致性同步或异步复制)进行数据备份，数据写入成功后通知客户端。如果采用强一致性同步，保证了存储系统的一致性，然而，当主备副本之间出现网络或其它故障时，写操作将被阻塞，系统的可用性无法得到满足。如果采用异步复制，保证了存储系统的可用性，但是无法做到强一致性。

当数据访问时，由主副本对外提供服务，当主副本出现故障时，进行主备切换；主备切换可采用手动模式和自动模式，手动模式是指由管理员通过命令完成，自动模式可降低运维成本，但存在潜在风险；同时，当主备副本之间出现网络问题，系统的可用性将会受到影响。

发明内容

本发明的目的在于提供一种基于IPFS的分布式并行高速读写系统及方法，具有智能化程度高、效率高和安全性高的优点。

本发明为实现上述目的所采取的技术方案为：

一种基于IPFS的分布式并行高速读写系统，包括：客户端、服务控制端和若干对等的分布式副本节点；所述服务控制端根据各个副本节点的运行参数，计算各个副本节点的推荐值，根据计算得到的推荐值，建立推荐值最高的对应的副本节点与客户端的连接；客户端与副本节点建立连接后，完成数据的读取过程和数据的写入过程；所述服务控制端根据各个副本节点的运行参数，计算各个副本节点的推荐值，根据计算得到的推荐值，建立推荐值最高的对应的副本节点与客户端的连接的方法执行以下步骤：根据副本节点的运行参数，鉴别各个副本节点的主要特征，对整个副本节点组成的集合所构成的特征空间进行主轴定位，得到空间映射矩阵；针对每一个副本节点都定义一个特征向量，该特征向量涵盖了副本节点的上述主要运行参数标签，通过如下公式计算每两个节点之间的相似度：其中，V₁,V₂表示副本节点的特征向量；V₁＝(v₁₁,v₁₂,…,v_1n)；v₁₁,v₁₂,…,v_1n表示其中一个副本节点的若干运行参数，所述运行参数至少包括：副本节点的延迟时间、副本节点的吞吐量、副本节点的存储空间大小、副本节点的运行时间、副本节点的数据处理速度以及副本节点对应的接入客户端数量；V₂＝(v₂₁,v₂₂,…,v_2n)；v₂₁,v₂₂,…,v_2n表示其中另一个副本节点的若干运行参数；根据实际情况的不同，给每个特征项赋予一定的权重以表示该特征的重要程度，即：V₂＝(v₂₁,w₂₁；v₂₂,w₂₂；…；v_2n,W_2n)，V₁＝(v₁₁,w₁₁；v₁₂,w₁₂；…；v_1n,W_1n)；为高斯调整参数方程，针对副本节点的进行归一化处理后，进行调整，x表示归一化的副本节点参数，μ为归一化后的副本节点均值，σ为归一化后的副本节点方差；完成对物品的聚类后，记录各个类的类中心，当有新的副本节点加入时，再进行距离计算，把新的副本节点分类到距离其最近的类中心所代表的那个类别；完成上述过程中，筛选出推荐值最高的类，即对应的权重累加值最高的类；再在该类中重复迭代执行上述过程，知道筛选出唯一的副本节点，则为建立连接的副本节点。