[发明专利]基于DSL的数据映射方法及装置、电子设备、存储介质在审
申请号: | 201811339286.0 | 申请日: | 2018-11-12 |
公开(公告)号: | CN109522319A | 公开(公告)日: | 2019-03-26 |
发明(设计)人: | 李培义;何威 | 申请(专利权)人: | 北京懿医云科技有限公司 |
主分类号: | G06F16/242 | 分类号: | G06F16/242 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 袁礼君;阚梓瑄 |
地址: | 100195 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据映射 电子设备 指令页面 语句 计算机可读存储介质 数据处理技术 指令 数据库语言 存储介质 规则解析 结构描述 应用需求 映射 工程师 应用 | ||
1.一种基于DSL的数据映射方法,其特征在于,包括:
获取一个或多个原始数据表;
提供DSL指令页面,通过所述DSL指令页面接收针对于所述原始数据表的数据映射指令;
根据结构描述规则解析所述数据映射指令,并生成基于数据库语言的数据映射语句;
根据所述数据映射语句将所述原始数据表映射为应用数据表。
2.根据权利要求1所述的方法,其特征在于,所述数据映射指令包括以下语法中的至少一种:
Join,用于将所述原始数据表中的字段进行关联;
Filter,用于过滤所述原始数据表中的数据;
Mapping,用于指定所述原始数据表中的字段到所述应用数据表中的字段的映射关系;
Group,用于将所述应用数据表中的字段进行汇总。
3.根据权利要求2所述的方法,其特征在于,所述数据库语言包括SparkSQL;所述根据结构描述规则解析所述数据映射指令,并生成基于数据库语言的数据映射语句包括:
将所述数据映射指令中包含Join语法的指令转换为SparkSQL的FROM子句;
将所述数据映射指令中包含Filter语法的指令转换为SparkSQL的WHERE子句;
将所述数据映射指令中包含Mapping语法的指令转换为SparkSQL的SELECT子句;
将所述数据映射指令中包含Group语法的指令转换为SparkSQL的GROUP BY子句;
在已转换的子句的头部添加SparkSQL的INSERT子句,并将全部子句合并为所述数据映射语句。
4.根据权利要求1所述的方法,其特征在于,还包括:
在提供所述DSL指令页面后,在所述DSL指令页面内呈现一函数编辑控件;
根据所述函数编辑控件接收到的函数编辑指令生成自定义函数。
5.根据权利要求4所述的方法,其特征在于,所述自定义函数包括数组聚合函数、结构体聚合函数。
6.根据权利要求4所述的方法,其特征在于,还包括:
将所述自定义函数添加到所述结构描述规则中。
7.根据权利要求1所述的方法,其特征在于,提供DSL指令页面,通过所述DSL指令页面接收针对于所述原始数据表的数据映射指令包括:
提供所述DSL指令页面,并在所述DSL指令页面内呈现样本数据表及样本映射指令;
接收针对于所述样本映射指令的修改操作,同时呈现修改后的所述样本数据表;
根据所述样本映射指令及针对于所述样本映射指令的修改操作,生成所述数据映射指令。
8.一种基于DSL的数据映射装置,其特征在于,包括:
数据获取模块,用于获取一个或多个原始数据表;
指令接收模块,用于提供DSL指令页面,通过所述DSL指令页面接收针对于所述原始数据表的数据映射指令;
语句转换模块,用于根据指令转换规则解析所述数据映射指令,并生成基于数据库语言的数据映射语句;
目标映射模块,用于根据所述数据映射语句将所述原始数据表映射为应用数据表。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京懿医云科技有限公司,未经北京懿医云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811339286.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据质量管理方法及系统
- 下一篇:一种服务于数据库同态加密的优化方法