[发明专利]一种基于OSGI的分布式数据存储方法

说明书

技术领域

本发明涉及一种基于OSGI的分布式数据存储方法，尤指以JAVA中OSGI为技术手段实现海量数据分布式存储的方法。

背景技术

随着技术的不断发展，数据存储需求增大，系统不但要求能快速读写数据，同时要求系统不但能保证数据安全、数据完整，同时要保证系统能在数年内不间断运行，这样必须要求系统有很高的动态性，能够在运行状态完成系统模块安装、卸载、更新操作。传统的开发模式很难胜任动态的修改和改变系统的行为，同时传统的数据读写方式，由于磁盘IO瓶劲，在海量数据的情况下很难保证数据安全、数据完整及快速读取。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述不能动态安装、卸载、启动和停止程序，海量数据读取效率低，同时难以保证数据安全及完整，提供一种程序高动态性，海量数据读取效率高、数据安全、完整的数据分布式存储的方法。

为实现上述目的，本发明的技术方案是：一种基于OSGI的分布式数据存储方法，其特征在于，包括二大步骤：

步骤一：

A)客户端生成数据；

B)Socket发送数据；

C)服务端序列化数据唯一ID；

D)服务端将数据存储到本地磁盘；

E)服务端将数据通过SOCKET发送到节点服务端数据存储节点；

F)节点服务端存储数据到节点磁盘；

步骤二：

G)客户端读取数据；

H)Socket发送读取请求；

I)服务端根据数据ID数量及当前运行节点服务端数量生成数据读取方案；

J)服务端根据方案从本地磁盘和节点磁盘并发读取数据；

K)服务端收集所有数据将数据列表返回给客户端。

作为具体化，所述服务端和节点服务端部署在OSGI容器中；并且所述方法的代码开发遵循OSGI规范。

作为具体化，在所述步骤一A)中：客户端生成的数据为普通JAVA对象；并且客户端生成数据时同时生成数据唯一ID。

作为具体化，在所述步骤一B)中：客户端通过Socket将数据唯一ID和数据对象发送到主服务端。

作为具体化，在所述步骤一C)中：服务端使用长整型数据类型自增长出全局数据唯一ID。

作为改进，所述步骤一D)还包括如下步骤：

D1)服务端将数据ID和数据对象存储到本地磁盘中；

D2)服务端存储数据时会生成索引文件和数据文件，索引文件存储数据ID、数据在数据文件对应的位置、全局数据唯一ID。

作为改进，在所述步骤一E)中，由1个主服务端和N个节点服务端完成，其中N≥1；并且步骤一E)分为：

E1)节点服务端启动后主动发送登陆信息到主服务端；

E2)主服务端将数据分发到各节点服务端。

作为改进，所述步骤一F)还包括如下步骤：

F1)节点服务端将数据ID和数据对象存储到磁盘中；

F2)节点服务端存储数据时会生成索引文件和数据文件，索引文件存储数据ID、数据在数据文件对应的位置、全局数据唯一ID。

作为具体化，在所述步骤二G)中：客户端读取数据根据所述步骤一A)中生成的数据唯一ID进行读取。

作为改进，所述步骤二I)还包括如下步骤：

I1)客户端请求大量数据时服务端生成数据读取方案从其它节点服务端并发读取数据。

作为改进，所述服务端和所述节点服务端运行在OSGI容器下，服务端和节点服务端都在不重启的情况时动态更新，重启后服务端和各节点服务端数据保持一致。

作为改进，所述节点服务端根据硬件服务器或数据量自由增加。

作为改进，节点服务端启动后根据全局数据唯一ID从主服务端或其它节点服务端同步数据，保持所有服务端数据一致。

由于采用OSGI框架开发及部署，使用OSGI规范编写程序，使用OSGI容器运行程序，并在OSGI环境下可动态地安装、卸载、启动和停止程序各节点；此外，服务端和节点服务端分布存储数据，节点服务端可动态增加，节点服务端重启后从其它服务端同步数据；而服务端和节点服务端可并发读取数据，并发读取数据时服务端自动根据读取数量动态分配到其它节点服务端并发读取。因此，该基于OSGI的分布式数据存储方法使程序能够动态地安装、卸载、启动和停止，同时数据安全性和完整性很高，数据读取快速。

附图说明

图1是基于OSGI的分布式存储系统结构示意图；

图2是数据存储流程图；

图3是数据读取流程图；

图4是数据同步流程图。

具体实施方式