[发明专利]一种分布式对象数据库的构建方法

说明书

本发明提供了一种应对复杂数据的分布式对象数据库ODB存储系统，单条数据即对象、数据库分片和主备及单条数据均支持弹性扩展、数据索引分离、高效底层存储通讯依赖Apache顶级项目Avro，整体系统包括ODB任务客户端模块、ODB读写服务模块、ODB索引模块和ODB底层存储模块，其中ODB任务客户端模块，用于提交对象查询和对象更新任务给ODB读写服务；ODB读写服务模块,用于接受任务客户端查询和更新请求，并同ODB索引模块及ODB底层存储模块交互；ODB索引模块，用于更新或快速查找单个或批量对象数据索引；ODB底层存储模块，用于接受查询和存储对象实例。

技术领域

本发明属于计算机技术领域，具体涉及一种应对复杂数据的分布式对象数据库的构建方法。

背景技术

对象数据库(ODB，Object Database)，顾名思义是指面向对象的数据库——以对象和类的形式表示数据的数据库。在面向对象术语中，对象是真实的实体，类是对象的集合。面向对象数据库遵循面向对象编程的基本原则。简单讲，面向对象数据库＝面向对象编程+数据库，其特性如附图1所示，同时满足面向对象编程的继承、封装和多态，也满足基本数据库的读写、完整性和并发。ODB查询和存储更新的每条数据值都是一个完整的对象实例。

目前国内研究对象数据库的还比较少，大部分都是基于健值对存储的各种非关系数据库(NoSQL，Not Only SQL——Structured Query Language)，常用NoSQL有4类代表：

1)以MongoDB为代表的健值对存储的文档格式，查询和存储性能都比较出色，而且查询有多种索引模式支持，非常方便使用，但其单条数据目前最大不超过16M，对于当今一些相对复杂的业务支持有些力不从心。

2)以Hbase为代表的列示存储，存储层面优势明显，但其查询方式支持力度不够友好；

3)以Neo4J为代表的图数据库，存储关系网络，但目前图数据库在分布式方面都做的不太理想，单条数据一般都比较简单，而且查询效率在数据量大时性能大打折扣。

4)以TiDB为代表的NewSQL，提供了与NoSQL相同的可扩展性，而且仍基于关系模型，还保留了成熟的SQL作为查询语言，保证了ACID事务特性。简单讲，NewSQL就是在传统关系型数据库上集成了NoSQL强大的可扩展性。一般单条数据都比较简单。

相比较，对于当前一些需要快捷批量存取单条复杂数据类型的业务，上述各种数据库都存在一些明显的不足。比如，为方便推荐基础用户画像标签更新，往往需要以用户为单位把其指定时间段内的相关行为及访问次数和时间戳等数据聚合，当作一个整体看待。这个指定时间段一般可以设为天、周或月，这样原本在天、周或月时间段内每个用户有多达几十条、数百条、乃至数千条、上万条的散乱行为数据，就聚合为了一条具有密集行为的复杂数据，对于算法训练使用则变得更为方便；但同样，其存储也变得比较复杂，因为单条数据量很容易超过MongoDB单条数据最大16M的上限，如果强行拆分为更细粒度，则数据散乱不易控制，而且其文档结构格式：数据和结构融合在一起，会导致数据存储冗余，且浪费存储空间；如果存在Hbase，则因其本身查询支持不太友好，在多维度查询时不太方便。

目前国外有个开源的面向对象数据库Db4o，其存在如下缺点：

1)其主要为单机嵌入式应用，这就意味着其扩展性不够好，不能支持海量数据存储；

2)其次，其使用层面，在对对象存储时，并没有加入优化序列化存储技术支持，这就意味着其存储和反序列化解析存在一些效率低和数据冗余问题；

3)最近一次更新是2019-9-29，近4年，其官方基本停止更新维护。

发明内容

针对以上不足，本发明提供了一种应对复杂数据的分布式对象数据库存储系统及其构建方法，解决了上述背景技术中存在的问题。