[发明专利]一种多源异构数据访问中间件构建方法

说明书

本发明公开了一种多源异构数据访问中间件构建方法，该方法突破高效多源异构数据访问中间件构建、缓存替换算法两项关键技术，能够构建用于信息系统应用的多源异构数据访问中间件，提供统一的数据访问接口，简化信息系统开发中的多源异构数据访问问题，采用数据缓存机制，减轻高频数据访问对数据库的压力并提高数据访问速度，为今后信息系统的数据访问需求提供支撑。

技术领域

本发明属于信息自动化领域，尤其涉及一种多源异构数据访问中间件构建方法。

背景技术

数据访问中间件主要提供透明式数据库访问，封装了底层实现细节，减轻了开发人员的负担；保证了系统的可移植性和扩展性，只要中间件的对外接口不变，即使底层系统改变，上层业务系统也无需改变。

数据访问中间件位于业务系统与数据库层之间，中间件层将业务层的访问请求按照自身的逻辑传递给数据库层，接收数据库层返回的结果集，在做完相应的处理后，传递给业务层，完成整个请求过程。通过将数据库访问和网络传输等相关模块独立出来，使得开发人员能够集中精力处理业务逻辑，只需遵循与中间件进行交互的接口标准，就可以方便的与异构异地的数据库进行数据的交互。

在目前的数据访问中间件研究中，主要存在以下两个问题：

(1)目前信息系统对数据的访问不仅涉及数据库的结构化数据，同样涉及半结构化与非结构化数据，涉及多种数据源，不同类型的数据源提供的访问接口各不相同，在开发信息系统应用时，开发人员需要了解各个数据源的访问接口与数据格式，影响开发效率，需要采用数据访问中间件为应用提供统一的访问接口，屏蔽底层差异；

(2)当应用访问数据的频率较高时，对数据库的频繁访问将会对数据库造成较大的压力，导致访问数据库所需时间增加甚至引起数据库崩溃；

发明内容

本发明目的是为解决信息系统的数据访问问题，简化多源异构数据访问的复杂性并提高数据访问的速度，为信息系统的数据访问提供服务支撑。

为实现上述目的，本发明提供了一种多源异构数据访问中间件构建方法。所述数据访问中间件包括中间件动态库、管理节点、处理节点及缓存系统，

所述中间件动态库由应用程序调用，为应用程序提供统一的数据访问接口，应用程序能够通过中间件动态库访问、查询及更新结构化数据、半结构化数据及非结构化数据；

所述管理节点用于接收应用程序的数据访问请求(即对数据的增、删、改、查)，生成相应的任务交给处理节点执行；

管理节点用于向应用程序返回数据访问数据及结果；

管理节点用于管理缓存系统，进行缓存更新，维持缓存中数据与数据源中数据的一致性，并根据需要进行缓存替换；

所述处理节点负责根据管理节点的任务，访问数据源，从数据源中读取数据或更新数据源中的数据；

所述缓存系统是一组Memcached(开源的分布式内存对象缓存系统)或Redis(开源的Key-Value内存数据库)组成的分布式缓存，用于存储缓存数据，Memcached或Redis将数据存储在内存中。

例如：应用程序调用中间件动态库，向管理节点发出数据查询请求，请求的内容包括数据方法id及查询参数。每个数据方法id对应一条配置文件中定义的一条查询语句，查询参数对应查询时的筛选条件。

管理节点接收到数据查询请求后，根据数据方法id和查询条件生成数据访问任务，任务中包含任务id、数据源的类型(关系型数据库、非关系型数据库、分布式文件系统等)、数据源的用户名、密码、地址等信息及所需执行的查询语句。