[发明专利]一种跨数据源的SQL编译装置及方法

说明书

本发明公开了一种跨数据源的SQL编译装置及方法，装置主要包括JSON生成模块、SQL编译工具、最终查询SQL生成模块、SQL提交模块和请求缓存实现模块等。本发明通过JSON封装查询条件，解析此条件并形成SQL提交给PRESTODB，可以实现多种场景(条件)的实时查询功能。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于PRESTODB的跨数据源的SQL编译装置及方法，特别适用于任意组合的、包含用户行为和用户画像的条件场景。

背景技术

PRESTODB是一个分布式的实时计算引擎，主要应用于大数据领域的实时计算分析需求，在ETL、数据分析、实时查询等方面具备卓越的能力，同时还支持多数据源联合查询以及灵活的自定义连接器功能，可以通过自定义的连接器实现对不同数据源的对接，因具备以上优点，PRESTODB被广泛应用于大数据OLAP分析中。目前还缺乏一种基于PRESTODB的SQL编译装置及方法。

发明内容

针对现有技术的不足，本发明旨在提供一种跨数据源的SQL编译装置及方法，通过JSON封装查询条件，解析此条件并形成SQL提交给PRESTODB，可以利用PRESTODB的优势实现多种场景(条件)的实时查询功能。

一种跨数据源的SQL编译装置，包括：

JSON查询条件生成模块：用于生成JSON结构的查询条件；

SQL编译工具：用于JSON查询条件生成模块生成的查询条件进行解析形成查询SQL；

SQL提交模块：用于将查询SQL提交至PRESTODB集群，PRESTODB执行查询SQL得到查询结果封装成对象返回。

进一步地，所述JSON查询条件生成模块生成JSON结构的用户群表达式，所述查询条件封装在所述用户群表达式中；

所述用户群表达式包括有字段group_id、entity_english_name、type、prev_group_expression、group_expression，其中：

group_id用于记录所要查询的目标用户群的id；

entity_english_name用于记录实体的名称，通过实体的名称获取要查询的表名；

type用于记录所要查询的目标用户群的类型；

group_expression用于封装通过对group_id、entity_english_name、type三个字段的设定而自由组合得到的查询条件；SQL编译工具对group_expression解析得到类SQL；

prev_group_expression用于记录前置用户群的用户群表达式；所述前置用户群即为当前所要查询的目标用户群所依赖的用户群，前置用户群的用户群表达式为JSON结构，同样包括字段group_id、entity_english_name、type、prev_group_expression、group_expression；SQL编译工具对前置用户群的表达式的group_expression进行解析得到前置用户群查询SQL；

所述跨数据源的SQL编译装置还包括有最终查询SQL生成模块，所述最终查询SQL生成模块用于SQL编译工具得到的类SQL和前置用户群查询SQL取交集，得到最终的查询SQL；所述SQL提交模块所提交的查询SQL为所述最终查询SQL生成模块得到的最终的查询SQL。

更进一步地，所述用户群的类型一共分为9大类，分别为所有用户群all、普通用户群common、特别关注用户群special、报表用户群report、外接用户群input、漏斗用户群funnel、漏斗流出用户群funnel_lost、决策树用户群decision、生命旅程用户群life。