[发明专利]一种数据处理方法及装置、电子设备有效
| 申请号： | 201910277565.7 | 申请日： | 2019-04-08 |
| 公开（公告）号： | CN111797147B | 公开（公告）日： | 2022-12-13 |
| 发明（设计）人： | 秦华婵;廖光贤;陶捷;王宝晗;齐骥 | 申请（专利权）人： | 中移(苏州)软件技术有限公司;中国移动通信集团有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/22;G06F16/242;G06F16/28 |
| 代理公司： | 北京派特恩知识产权代理有限公司 11270 | 代理人： | 李昂;张颖玲 |
| 地址： | 215163 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 数据处理 方法 装置 电子设备 | ||
1.一种数据处理方法，其特征在于，所述方法包括：
将Hive元数据存储在关系数据库中，所述关系数据库至少包括Derby数据库或mysql数据库；基于所述关系数据库，创建Hive数据库；
接收第一Event，设置Hive表中至少一列数据的数据类型，并基于所述Hive数据库和所述至少一列数据的数据类型生成所述第一Event对应的数据仓库工具Hive表；
按照配置的结构化查询语言SQL语句对所述Hive表中的数据进行处理，并基于处理结果输出第二Event。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
设置所述第一Event的第一数据分割符；
基于所述第一数据分割符对所述Hive表中的数据进行分割，得到待处理的目标数据；
所述按照配置的SQL语句对所述Hive表中的数据进行处理，包括：
按照配置的SQL语句对所述Hive表中的所述待处理的目标数据进行处理。
3.根据权利要求1所述的方法，其特征在于，所述基于处理结果输出第二Event，包括：
设置所述第二Event的第二数据分割符；
基于所述第二数据分割符将处理结果序列化为第二Event，输出所述第二Event。
4.一种数据处理装置，其特征在于，所述装置包括：
创建单元，用于将Hive元数据存储在关系数据库中，所述关系数据库至少包括Derby数据库或mysql数据库；基于所述关系数据库，创建Hive数据库；
接收单元，用于接收第一Event；
所述创建单元，还用于设置Hive表中至少一列数据的数据类型，并基于所述Hive数据库和所述至少一列数据的数据类型生成所述第一Event对应的数据仓库工具Hive表；
处理单元，用于按照配置的SQL语句对所述Hive表中的数据进行处理；
输出单元，用于基于处理结果输出第二Event。
5.根据权利要求4所述的装置，其特征在于，所述装置还包括：
解析单元，用于设置所述第一Event的第一数据分割符；基于所述第一数据分割符对所述Hive表中的数据进行分割，得到待处理的目标数据；
所述处理单元，用于按照配置的SQL语句对所述Hive表中的所述待处理的目标数据进行处理。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
序列化单元，用于设置所述第二Event的第二数据分割符；基于所述第二数据分割符将处理结果序列化为第二Event。
7.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至3中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至3中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中移(苏州)软件技术有限公司;中国移动通信集团有限公司，未经中移(苏州)软件技术有限公司;中国移动通信集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910277565.7/1.html，转载请声明来源钻瓜专利网。
