[发明专利]一种新型的并发内存数据组织与访问方法

说明书

[技术领域]

本发明涉及数据处理技术领域，具体的说是一种新型的并发内存数据组织与访问方法，主要应用于对数据组织、访问有一定效率要求的内存数据访问场景。

[背景技术]

数据的存储与访问，是各类计算机应用中最为普遍的需求，随着内存容量的不断提升，越来越多的数据被加载到内存中，系统通过读写内存的方式来调整、设置数据状态，如何组织内存数据，使其能够满足高效并发访问的要求，在数据的并发访问过程中仍能够保证数据读写的事务一致性，同时该组织结构还具有一定的普适性，使得该组织形式能够满足不同应用场景的数据访问、定位需求，已成为多数应用系统共同面临的问题之一。

以证券行业为例，各种业务运行于后台主机之上，对于不同的应用，分别对应着不同的状态数据，业务在实时运行过程中，需要根据不同的输入，或查询、或修改各类状态数据，这类数据如何存储，一般有两种方法：

方法一，利用现有数据库，将数据存放在数据库中，通过数据库对数据进行增、删、改操作。该方法的好处在于，操作接口简单、统一，通过现有的标准SQL语言可以进行；缺点是，实时响应能力较低；应用系统需要与某一数据库绑定在一起，数据库庞大、冗余、耗费资源，同时应用系统仅仅利用了数据库所有功能中的很小一部分；

方法二，将整体数据存放于内存中使用内存数据库管理数据或自行管理。前者需在现有系统的基础上额外构建完整的第三方内存数据库软件，显然对于数据访问模型较为简单的场景，第三方内存数据库方案显得过于复杂，成本也较高，后者的实现多数情况下又都是各自业务根据自身特点组织数据，不同数据按照不同的方式进行组织，各数据之间没有通用的结构，不方便扩展。

基于以上认识，在内存中构建一套简洁、完整的通用型内存数据组织结构及访问方法则显得十分必要，该方法需在满足各业务对不同数据进行增、删、改以及数据读写事务完整性要求的同时，又保留现有内存数据访问高效的特点，    该类通用性内存数据组织与访问方法至少需满足一下三方面要求： 

(1)读写事务完整性，在对数据进行读写操作时，必须确保数据结果的完整性，数据完整性是指在对数据进行并发访问时，数据的读写之间不存在读操作的结果为写操作修改数据时的中间过程结果；

(2)并发高效性，能为使用者提供高效率的并发访问响应；

(3)灵活性，能提供不同维度的数据组织和访问方式。

目前现有的多数内存数据组织及访问方法中，为满足数据访问的读写事务完整性，主要通过以下几种手段来实现：

(1)访问排队，在数据访问的前端设置“排队机”，在数据访问请求进入到实际数据处理模块之前，由排队机进行“序列化”操作，经排队过的数据访问请求依次进入数据处理模块并获得访问结果，通过序列化确保两次操作不存在冲突的可能。

(2)操作系统级锁机制并发控制，基于操作系统提供的并发控制机制—锁机制，在操作系统层面对各进程数据访问进行调度控制，从而避免访问冲突情况的发生。

以上两种处理方式都有效解决了数据并发访问完整性的问题，但无论是访问排队，还是锁并发控制都为整个数据访问带来了过多的额外资源开销，这类手段不利于整体并发访问性能的提升。

另一方面，为满足数据访问的灵活性，在已有的内存数据组织及访问方法中引入了多维索引、非唯一索引的方法，将数据与多维索引进行同时映射，使得可以从不同维度访问同一数据；为同一索引键值的数据构建非唯一索引，使得同一键值的不同数据可以并存并被访问。

但现有的技术方法并未结合两类索引方法提供完整支持，有些方法只提供了单一的非唯一索引检索方法，并未支持实际的多维索引；有些方法提供了多维索引，但在多维索引的数据访问及操作上存在不足，有些方法并未对多维索引的添加、删除更新进行完整支持，仅支持了其中的添加、更新功能；有些方法仅考虑了正常情况下各种索引的构建、删除逻辑，并未周全考虑在数据访问过程中如修改操作出现意外终止，而导致内存数据局部不一致场景下的合理处理方法；有些方法，在提供多维索引的同时却并未解决在不降低并发性能的基础上确保读写事务完整性的问题，总之存在缺陷。

[发明内容]

本发明的目的在于解决上述技术问题，提供一种在一写多读前提下可满足不同应用场景的数据访问、定位需求的并发内存数据组织形式及访问方法，并实现高效并发访问的同时保持数据读写的事务一致性。