[发明专利]数据流处理方法、装置、服务器及存储介质有效
申请号: | 201911420446.9 | 申请日: | 2019-12-31 |
公开(公告)号: | CN111159273B | 公开(公告)日: | 2023-07-18 |
发明(设计)人: | 陈海波;王志军;谢攀;王蓉;谢继刚;戴智;苏轶;李梦圆 | 申请(专利权)人: | 中国联合网络通信集团有限公司;联通系统集成有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/28 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张娜;刘芳 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据流 处理 方法 装置 服务器 存储 介质 | ||
1.一种数据流处理方法,其特征在于,包括:
获取第一数据流,所述第一数据流包括地域性特征信息;所述第一数据流为来自于终端的数据流,所述地域性特征信息为终端的唯一的标识码信息;
对所述第一数据流配置规则参数以生成第二数据流,所述规则参数用于表征流任务对第一数据流的筛选条件,所述流任务包括业务需求;
根据所述地域性特征信息以及所述规则参数将所述第二数据流进行树形结构分级,以使特征值根据所述树形结构与所述第二数据流进行关联,所述特征值用于表征静态标签表数据;所述静态标签表数据表征经纬度和使用终端的用户的用户标签。
2.根据权利要求1所述的数据流处理方法,其特征在于,所述对所述第一数据流配置规则参数以生成第二数据流之前,还包括:
根据所述第一数据流以及所述流任务确定所述规则参数,所述流任务包括业务需求。
3.根据权利要求2所述的数据流处理方法,其特征在于,所述根据所述地域性特征信息以及所述规则参数将所述第二数据流进行树形结构分级之后,还包括:
根据所述业务需求以及所述树形结构通过预设流处理语言对所述第二数据流进行处理以获得处理结果,所述处理结果用于表征所述流任务的实现结果。
4.根据权利要求3所述的数据流处理方法,其特征在于,
将所述规则参数存入预设第一数据库,所述预设第一数据库为MySQL数据库;和/或
将所述处理结果以及所述树形结构存入预设第二数据库,所述预设第二数据库为Hbase数据库;和/或,
将所述静态标签表数据存入预设第三数据库,所述预设第三数据库为Hive数据库。
5.根据权利要求4所述的数据流处理方法,其特征在于,所述MySQL数据库包括JSON字符串;
通过所述JSON字符串对所述规则参数进行操作处理,所述操作处理包括新建所述规则参数、修改所述规则参数以及终止所述规则参数中的至少一种。
6.根据权利要求4所述的数据流处理方法,其特征在于,所述Hbase数据库包括:
通过多列族以及生存期TTL进行版本控制;以及
通过区域服务器Region Server以使所述特征值根据所述树形结构与所述第二数据流进行所述关联。
7.根据权利要求4所述的数据流处理方法,其特征在于,所述Hive数据库包括ORC文件格式;
通过所述ORC文件格式以使所述特征值根据所述树形结构与所述第二数据流进行所述关联。
8.一种数据流处理装置,其特征在于,包括:
获取模块,用于获取第一数据流,所述第一数据流包括地域性特征信息;所述第一数据流为来自于终端的数据流,所述地域性特征信息为终端的唯一的标识码信息;
第一处理模块,用于对所述第一数据流配置规则参数以生成第二数据流,所述规则参数用于表征流任务对第一数据流的筛选条件,所述流任务包括业务需求;
第二处理模块,用于根据所述地域性特征信息以及所述规则参数将所述第二数据流进行树形结构分级,以使特征值根据所述树形结构与所述第二数据流进行关联,所述特征值用于表征静态标签表数据;所述静态标签表数据表征经纬度和使用终端的用户的用户标签。
9.一种服务器,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据流处理方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的数据流处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司;联通系统集成有限公司,未经中国联合网络通信集团有限公司;联通系统集成有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911420446.9/1.html,转载请声明来源钻瓜专利网。