[发明专利]一种分布式内存数据查询优化的方法和设备

权利要求书

1.一种分布式内存数据查询优化的方法，其特征在于，所述方法应用于包括多个并行连接的内存数据库的分布式系统中，所述方法包括：

当存在至少一个数据源接入所述系统且接收到用户或应用发送的数据查询请求时，根据所述数据查询请求生成查询计划；

若已连接数据源的连接器的数量为多个，根据智能化优化算法库对所述的查询计划进行优化，并将通过所述智能优化算法库将所述执行计划分解为与各个数据源对应的多个子查询计划，所述智能优化算法库中包含所述数据源中存储的数据信息、可用查询资源，以及查询计划的执行代价；

基于多个所述连接器将各所述子查询计划分别下推至各所述数据源查询；

基于各所述连接器从各所述数据源获取与各所述子查询计划对应的多个初步数据；

根据多个所述初步数据获取与所述查询请求对应的结果数据，并将所述结果数据返回所述用户或所述应用；

其中，所述连接器是用于连接所述系统与各所述数据源的进程，所述连接器是根据所述数据源的类型创建的。

2.如权利要求1所述的方法，其特征在于，根据智能化优化算法库对所述的查询计划进行优化，并将通过所述智能优化算法库将所述执行计划分解为与各个数据源对应的多个子查询计划，具体为:

根据智能优化算法库中的数据字典信息对查询计划进行优化和分解，分解生成多个优化查询计划;

根据智能优化算法库中的数据源的所述可用查询资源和所述执行代价，从优化查询计划中筛选出最优查询计划，并从所述最优查询计划中获取与各个数据源对应的多个子查询计划。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

当检测到待接入数据源发送的接入请求时，确定所述待接入数据源的第一数量和与所述待接入数据源的类型对应的数据源连接池内的空闲连接器的第二数量；

若所述第一数量不大于所述第二数量，基于所述空闲连接器将所述待接入数据源接入所述系统；

若所述第一数量大于所述第二数量，根据预设数量或用户输入的创建数量创建新的空闲连接器。

4.如权利要求3所述的方法，其特征在于，所述系统包括多个分布式的内存计算节点，单个所述内存计算节点可运行一个或多个所述连接器。

5.如权利要求1所述的方法，其特征在于，基于各所述连接器从各所述数据源获取与各所述子查询计划对应的多个初步数据，具体为：

基于各所述连接器从各所述数据源获取与各所述子查询计划对应的多个查询结果；

基于各所述连接器将分别将各所述查询结果按预设格式转换为各所述初步数据。

6.如权利要求5所述的方法，其特征在于，根据多个所述初步数据获取与所述查询请求对应的结果数据，具体为：

将多个所述初步数据加载至内存，并在内存中对多个所述初步数据进行数据清洗后进行数据合并；

根据数据合并的结果获取所述结果数据。

7.如权利要求1所述的方法，其特征在于，在根据所述数据查询请求生成查询计划之后，所述方法还包括：

若已连接数据源的连接器的数量为一个，基于所述连接器将所述查询计划下推至所述数据源查询；

基于所述连接器从所述数据源获取与所述查询请求对应的结果数据，并将所述结果数据返回所述用户或所述应用。

8.如权利要求7所述的方法，其特征在于，基于所述连接器从所述数据源获取与所述查询请求对应的结果数据，具体为：

基于所述连接器从所述数据源获取与所述查询计划对应的查询结果；

基于所述连接器将所述查询结果按预设格式转换为初步数据；

将所述初步数据加载至内存，并对所述初步数据进行数据清洗后获取所述结果数据。

9.如权利要求5或8所述的方法，其特征在于，所述预设格式为CSV格式。

10.一种分布式内存数据查询优化的设备，其特征在于，所述设备应用于包括多个并行连接的内存数据库的分布式系统中，所述设备包括：

生成模块，用于当存在至少一个数据源接入所述系统且接收到用户或应用发送的数据查询请求时，根据所述数据查询请求生成查询计划；

分解模块，用于若已连接数据源的连接器的数量为多个，根据智能化优化算法库对所述的查询计划进行优化，并将通过所述智能优化算法库将所述执行计划分解为与各个数据源对应的多个子查询计划，所述智能优化算法库中包含所述数据源中存储的数据信息、可用查询资源，以及查询计划的执行代价；

下推模块，用于基于多个所述连接器将各所述子查询计划分别下推至各所述数据源查询；

第一获取模块，用于基于各所述连接器从各所述数据源获取与各所述子查询计划对应的多个初步数据；

返回模块，用于根据多个所述初步数据获取与所述查询请求对应的结果数据，并将所述结果数据返回所述用户或所述应用；

其中，所述连接器是用于连接所述系统与各所述数据源的进程，所述连接器是根据所述数据源的类型创建的。