[发明专利]一种全文检索的方法和分布式NewSQL数据库系统有效
申请号: | 201710580423.9 | 申请日: | 2017-07-17 |
公开(公告)号: | CN107402987B | 公开(公告)日: | 2020-04-03 |
发明(设计)人: | 晋彤 | 申请(专利权)人: | 云润大数据服务有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/2455;G06F16/2453 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 梁顺宜;郝传鑫 |
地址: | 510000 广东省广州市天*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 全文 检索 方法 分布式 newsql 数据库 系统 | ||
1.一种全文检索的方法,其特征在于,适用于分布式NewSQL数据库系统,所述分布式NewSQL数据库系统包括Solr单元,所述全文检索的方法包括:
以JDCB/ODBC的接口方式接入用户请求,其中,所述用户请求包括全文检索的查询条件;所述查询结果为根据所述查询条件所获得的查询结果;
将所述用户请求转化SQL语句形式的SQL请求;
解析所述用户请求,编译以及生成对应的执行计划;其中,所述解析所述用户请求,编译以及生成对应的执行技术,具体为:判断共享缓存池中是否存在与所述SQL请求相对应的预存SQL语句,若是,则输出相对应的所述预存SQL语句对应的执行计划,若否,则,对所述SQL请求进行语法检查,若语法错误返回错误信息给用户,否则,对所述SQL请求进行语义检查,若语义错误返回错误信息给用户,否则,对所述SQL请求进行视图以及表达式转换,获得对应的转化结果;根据所述转换结果选择优化器,获得对应的优化器选择结果;根据所述优化器选择结果选择对应的数据连接方式以及连接顺序;根据连接方式和连接顺序选择搜索的路径;根据搜索路径生成执行计划,并输出执行计划;
根据执行计划,将所述查询条件从SQL条件语句转换成SOLR的查询表达式,并根据所述SOLR的查询表达式查询Solr单元的索引表,获取对应的索引数据;
根据获取的所述索引数据查询数据表,从而获得对应的所述查询结果;其中,所述数据表中存有全文检索的数据字段,所述索引表中存有根据所述全文检索的数据字段的描述所生成的倒排索引形式的索引数据;
返回所述查询结果给用户。
2.一种分布式NewSQL数据库系统,其特征在于,包括:
JDCB/ODBC接口单元,用于与用户进行交互操作,包括接收用户请求,返回查询结果给用户;其中,所述用户请求包括全文检索的查询条件,所述查询结果为根据所述查询条件所获得的查询结果;
JDCB/ODBC接口单元还用于将所述用户请求转化SQL语句形式的SQL请求;
master单元,用于接入JDCB/ODBC接口单元所接入的用户请求,并协调多个处理器之间的数据通讯以及管理整体流程,并将所述用户请求优先发送给SQLPlaner单元;master单元还用于所述查询结果返回JDCB/ODBC接口单元;
SQLPlaner单元,用于解析所述用户请求,根据所述用户请求编译以及定制执行计划,具体包括:
判断共享缓存池中是否存在与所述SQL请求相对应的预存SQL语句,若是,则输出相对应的所述预存SQL语句对应的执行计划,若否,则,
对所述SQL请求进行语法检查,若语法错误返回错误信息给用户,否则,
对所述SQL请求进行语义检查,若语义错误返回错误信息给用户,否则,
对所述SQL请求进行视图以及表达式转换,获得对应的转化结果;
根据所述转换结果选择优化器,获得对应的优化器选择结果;
根据所述优化器选择结果选择对应的数据连接方式以及连接顺序;
根据连接方式和连接顺序选择搜索的路径;
根据搜索路径生成执行计划,并输出执行计划;
worker单元,用于并行地执行所述计划,包括:将所述查询条件从SQL条件语句转换成SOLR的查询表达式,然后根据所述SOLR的查询表达式查询索引表,获取对应的索引数据;并根据获取的所述索引数据查询数据表,从而获得对应的所述查询结果;并返回查询结果至所述master单元;
Hbase单元,用于储存所述数据表;其中,所述数据表中存有全文检索的数据字段;
Solr单元,用于储存所述索引表;其中,所述索引表中存有由根据所述全文检索的数据字段的描述所生成的倒排索引形式的索引数据;
分布式事务管理器,用于当所述worker单元执行计划涉及事务时,协调多方完成分布式事务管理。
3.如权利要求2所述的一种分布式NewSQL数据库系统,其特征在于,还包括:
监视器,用于负责元数据管理,监控所述Hbase单元的Region的负载,以及通过所述Hbase单元的coprocessor模块重新分配Region;所述监视器与所述master单元连接。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云润大数据服务有限公司,未经云润大数据服务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710580423.9/1.html,转载请声明来源钻瓜专利网。