[发明专利]数据处理方法、装置、电子设备及存储介质在审
申请号: | 202110991637.1 | 申请日: | 2021-08-26 |
公开(公告)号: | CN113656445A | 公开(公告)日: | 2021-11-16 |
发明(设计)人: | 陆航;邢而康;张熠;史忠伟 | 申请(专利权)人: | 五八同城信息技术有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/22;G06F16/25 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 吕俊秀 |
地址: | 300450 天津市滨海新区经济技术开*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
接收待处理数据,其中,所述待处理数据是由数据采集模块从业务服务器中采集得到的;
若所述待处理数据包括第一格式数据,将所述第一格式数据转化为第二格式数据;
对所述待处理数据进行数据处理,以得到待存储数据;
将所述待存储数据存储至数据处理模块的实时数据库。
2.根据权利要求1所述的方法,其特征在于,在将所述待存储数据存储至数据处理模块的实时数据库之后,还包括:
接收对所述实时数据库中的数据查询请求,其中,所述数据查询请求是由数据查询展示模块发送至所述数据处理模块的;
将所述数据查询请求对应的查询结果发送至所述数据查询展示模块。
3.根据权利要求1所述的方法,其特征在于,在接收待处理数据之后,还包括:
将所述待处理数据存储至所述数据处理模块的离线数据库中。
4.根据权利要求1所述的方法,其特征在于,若所述待处理数据包括第一格式数据,将所述第一格式数据转化为第二格式数据,包括:
通过所述数据处理模块的语法引擎确定所述待处理数据中的数据格式;
若所述待处理数据包括第一格式数据,通过所述语法引擎将所述第一格式数据转化为第二格式数据。
5.根据权利要求1所述的方法,其特征在于,对所述待处理数据进行数据处理,以得到待存储数据,包括:
通过所述数据处理模块的规则引擎判断所述待处理数据是否符合预设规则;
在所述待处理数据不符合所述预设规则的情况下,对所述待处理数据进行数据处理,以得到待存储数据;
在所述待处理数据符合所述预设规则的情况下,确定所述待处理数据为所述待存储数据。
6.根据权利要求1所述的方法,其特征在于,将待存储数据存储至所述实时数据库中,包括:
根据预设配置信息将所述待存储数据存储至所述实时数据库中的指定数据目标中。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述数据采集模块将所述业务服务器中的用户行为事件,转化为第三格式数据;
将所述第三格式数据存储至所述业务服务器的缓存数据库中;
每隔预设周期将所述缓存数据库中的所述第三格式数据发送至所述数据处理模块。
8.一种数据处理装置,其特征在于,所述装置包括:
接收单元,用于接收待处理数据,其中,所述待处理数据是由数据采集模块从业务服务器中采集得到的;
解析单元,用于若所述待处理数据包括第一格式数据,将所述第一格式数据转化为第二格式数据;
处理单元,用于对所述待处理数据进行数据处理,以得到待存储数据;
存储单元,用于将所述待存储数据存储至数据处理模块的实时数据库。
9.一种数据处理系统,其特征在于,所述系统包括数据采集模块、数据处理模块以及数据查询展示模块,其中,
所述数据采集模块,用于将从业务服务器中采集得到的待处理数据发送至所述数据处理模块;
所述数据处理模块,用于对所述待处理数据进行数据解析以及数据处理后,存储至数据处理模块的实时数据库中;
所述数据查询展示模块,用于将数据查询请求发送至所述数据处理模块,对实时数据库中的数据进行展示。
10.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
11.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的数据处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于五八同城信息技术有限公司,未经五八同城信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110991637.1/1.html,转载请声明来源钻瓜专利网。