[发明专利]一种多源异构数据访问中间件构建方法

权利要求书

1.一种多源异构数据访问中间件构建方法，其特征在于，所述数据访问中间件包括中间件动态库、管理节点、处理节点及缓存系统，

所述中间件动态库由应用程序调用，为应用程序提供统一的数据访问接口，应用程序能够通过中间件动态库访问、查询及更新结构化数据、半结构化数据及非结构化数据；

所述管理节点用于接收应用程序的数据访问请求，生成相应的任务交给处理节点执行；

管理节点用于向应用程序返回数据访问数据及结果；

管理节点用于管理缓存系统，进行缓存更新，维持缓存中数据与数据源中数据的一致性，并根据需要进行缓存替换；

所述处理节点负责根据管理节点的任务，访问数据源，从数据源中读取数据或更新数据源中的数据；

所述缓存系统是一组Memcached或Redis组成的分布式缓存，用于存储缓存数据，Memcached或Redis将数据存储在内存中；

所述管理节点包括数据访问服务接口、配置管理模块、需求管理模块、任务管理模块、节点管理模块和缓存管理模块；

所述数据访问服务接口与应用程序的中间件动态库进行交互，接收应用的数据访问请求，向应用返回请求的执行结果和数据；

所述配置管理模块用于加载并维护管理节点的配置信息，供其他模块使用；

所述需求管理模块用于维护应用的数据访问请求，对请求进行处理，生成对应的任务交给任务管理模块处理；

所述任务管理模块用于对数据访问任务进行管理，根据不同任务类型，按照一定的算法流程调用节点管理模块及缓存管理模块进行处理；

所述节点管理模块用于对处理节点进行管理，基于任务分配算法，将任务分发给处理节点进行处理，并将处理结果返回给任务管理模块；

所述缓存管理模块负责对缓存系统进行操作，包括缓存数据读取、写入、更新，负责监控缓存系统的使用容量，当容量达到上限时，按照缓存替换算法，进行缓存替换；

所述数据访问中间件执行如下步骤：

步骤a1，用户根据自己的实际需要，通过配置管理模块对数据访问中间件的数据方法进行配置，采用XML文件形式进行配置，配置数据方法id、数据方法、对应的数据源参数；

步骤a2，数据访问中间件的管理节点加载配置文件；

步骤a3，应用调用数据访问中间件提供的中间件动态库，进行数据访问操作；

步骤a4，中间件动态库将数据访问请求发送给管理节点；

步骤a5，管理节点的需求管理模块根据配置文件解析数据访问请求，包括数据查询请求和数据更新请求，生成数据访问任务交给任务管理模块进行处理，其中数据更新请求包括数据的增、删、改，所述数据访问任务包括数据查询任务和数据更新任务；任务管理模块根据任务类型，调用节点管理模块和缓存管理模块进行处理；节点管理模块将数据查询任务和数据更新任务交给处理节点执行；

步骤a6，管理节点将数据访问请求的执行结果和数据发送给中间件动态库；

步骤a7，中间件动态库向应用返回执行结果和数据；

步骤a5中，当执行数据查询任务时，具体包括如下步骤：

步骤b1，管理节点的任务管理模块将数据方法id及参数值提交给缓存管理模块，缓存管理模块根据数据方法id及参数值，计算该数据对应的缓存的key值，通过一致性hash算法计算该key值可能存在于缓存系统的位置；

步骤b2，管理节点的缓存管理模块从缓存系统的对应位置通过key值获取缓存数据，若成功从缓存系统读取所需数据，则返回给任务管理模块，由任务管理模块直接返回给中间件动态库；否则，任务管理模块将数据查询任务交给节点管理模块，节点管理模块选择一个处理节点，将任务交给该处理节点执行；

步骤b3，处理节点执行完成查询任务后，将结果和数据返回给管理节点的节点管理模块，节点管理模块将结果和数据返回给任务管理模块；

步骤b4，管理节点将查询任务的结果和数据返回给中间件动态库；

步骤b5，管理节点的任务管理模块将数据及方法id和参数提交给缓存管理模块，缓存管理模块根据缓存替换算法，决定是否需要将查询任务的数据存入缓存系统，如果需要，则根据数据方法id及参数值，计算该数据对应的缓存的key值，将key值与数据组成键值对，将其存入缓存系统；

步骤a5中，当执行数据更新任务时，具体包括如下步骤：

步骤c1，管理节点的任务管理模块将数据更新任务交给节点管理模块，节点管理模块选择一个处理节点执行任务；

步骤c2，处理节点执行完成任务后，将结果返回给管理节点的节点管理模块，由节点管理模块将结果返回给任务处理模块；

步骤c3，管理节点将执行结果返回给中间件动态库，若执行结果为成功，管理节点的任务管理模块将任务信息提交给缓存管理模块，缓存管理模块根据配置文件中数据方法对应的数据源及数据项，判断本次数据更新所影响的缓存数据，将其从缓存中移除，并告知任务管理模块需要更新的缓存数据对应的数据方法和参数，任务管理模块重新生成一个或两个以上数据查询任务；若执行结果为不成功，管理节点无需做进一步的处理；

步骤c4，管理节点的任务管理模块将数据查询任务交给节点管理模块，由节点管理模块选择处理节点执行；

步骤c5，处理节点执行完成后，将数据查询任务的执行结果和数据返回给管理节点的节点管理模块，由节点管理模块返回给任务管理模块；

步骤c6，管理节点的任务管理模块将数据交给缓存管理模块，缓存管理模块将数据重新存入缓存系统；

所述缓存替换算法具体包括如下步骤：

步骤d1，对于每个潜在的需要缓存的数据M_i，统计从数据源中读取M_i所需要的平均时间AT_i，数据大小S_i以及在T毫秒内的访问次数AC_i、更新次数UC_i、更新所需平均时间UT_i；

步骤d2，计算每个潜在的需要缓存的数据M_i的缓存价值V_i：

步骤d3，将所有已放入缓存的数据的缓存价值放入小根堆中，此时小根堆的堆顶元素即为最小缓存价值V_s；

步骤d4，当缓存系统的容量已经达到上限，无法容纳下一个需要缓存的数据时，将新的需要缓存的数据M_n的缓存价值V_n与数据M_s的缓存价值V_s比较，若V_n-V_s≤ε，ε为预设的阈值，则不需要进行缓存替换；若V_n-V_s＞ε，则跳转至步骤d5；

步骤d5，将V_s对应的缓存数据M_s从缓存中移除，并将V_s从小根堆中移除；

步骤d6，若缓存系统的剩余容量能够容纳数据M_n，则将数据M_n存放入缓存系统并将其缓存价值也存入缓存系统；否则，重复步骤d4；

步骤d2中，通过如下公式计算每个潜在的需要缓存的数据M_i的缓存价值V_i：

V_i＝(AT_i*AC_i-UC_i*UT_i)/S_i (1)。