[发明专利]基于大数据平台的SQL语句转换方法、装置和计算机设备在审
申请号: | 202011280867.9 | 申请日: | 2020-11-16 |
公开(公告)号: | CN112328260A | 公开(公告)日: | 2021-02-05 |
发明(设计)人: | 卢显锋 | 申请(专利权)人: | 中国平安财产保险股份有限公司 |
主分类号: | G06F8/51 | 分类号: | G06F8/51 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉;曹勇 |
地址: | 518000 广东省深圳市福田区益田路*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 数据 平台 sql 语句 转换 方法 装置 计算机 设备 | ||
1.一种基于大数据平台的SQL语句转换方法,其特征在于,包括:
获取开发人员编写的第一数据处理语句SQL;
判断所述第一数据处理语句SQL的数据源类型;
根据数据源的类型将所述第一数据处理语句SQL转换成第二数据处理语句HQL;
将所述第二数据处理语句HQL封装成可执行的linux程序的脚本。
2.根据权利要求1所述的基于大数据平台的SQL语句转换方法,其特征在于,所述根据数据源的类型将所述第一数据处理语句SQL转换成第二数据处理语句HQL的步骤包括:
判断第一数据处理语句SQL中是否存在HQL不支持的操作命令;
若存在所述不支持的操作指令,则按照预设的处理方法对所述不支持操作指令进行转换;以及,
判断第一数据处理语句SQL中是否存在数据仓库工具hive不支持的函数;
若存在所述不支持的函数,则按照预设的处理方法对所述不支持的函数进行转换。
3.根据权利要求2所述的基于大数据平台的SQL语句转换方法,其特征在于,所述按照预设的处理方法对所述不支持操作指令进行转换的步骤包括:
判断所述不支持的操作指令的类型,所述不支持的操作指令类型包括更新操作、删除操作和提交操作;
若所述不支持的操作指令为更新操作,则将所述第一数据处理语句SQL中需要更新的数据导入第一中间表,将原表进行备份,将所述第一中间表的数据更新到所述原表中,完成更新操作;
若所述不支持的操作指令为删除操作,则将所述第一数据处理语句SQL中需要保留的数据导入第二中间表,将原表进行备份,将所述第二中间表覆盖到所述原表中,完成更新操作;
若所述不支持的操作指令为提交操作,则将需要的数据导入第三中间表,将原表进行备份,将所述第三中间表覆盖到所述原表中,完成提交操作。
4.根据权利要求2所述的基于大数据平台的SQL语句转换方法,其特征在于,所述按照预设的处理方法对所述不支持的函数进行转换的步骤包括:
判断所述不支持的函数类型,所述不支持的函数类型包括日期转换函数to_date、数据转换函数int、字符转换函数to_char;
若所述不支持函数为日期转换函数to_date,则将to_date函数转换HQL对应的日期函数FORM-UNIXTIME(UNIX-TIMESTAMP(BIRTHDAY,‘YYYY-MM-dd’),‘YYYY-MM-dd’);
若所述不支持函数为数据转换函数int,则将int函数转换为转换成cast(column asint);
若所述不支持函数为字符转换函数to_char,则将to_char函数转换为转换成cast(column as string)。
5.根据权利要求1所述的基于大数据平台的SQL语句转换方法,其特征在于,所述将所述第二数据处理语句HQL封装成可执行的linux程序的脚本的步骤包括:
在所述第二处理语句中添加脚本开头标识符;
在所述标识符之后添加自定义参数,所述自定义参数包括日期、时间、udf函数包、主机信息配置;
如果数据源是hive数据,则在所述自定义参数之后添加hive执行语句;
如果数据源是hbase数据,则在所述自定义参数之后添加需要将查找的实时信息转换成get或scan操作的调用语句,其中get操作的调用语句针对单条数据,scan操作的调用语句针对全量数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安财产保险股份有限公司,未经中国平安财产保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011280867.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种水陆两栖仿生机器人自适应运动控制系统
- 下一篇:陈桔及其制作方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置