[发明专利]数据流处理方法、装置、服务器及存储介质

说明书

本申请提供一种数据流处理方法、装置、服务器及存储介质。本申请提供的数据流处理方法，首先获取第一数据流，其中，第一数据流包括地域性特征信息，然后对第一数据流配置规则参数以生成第二数据流，规则参数用于表征流任务的筛选条件，再根据地域性特征信息以及规则参数将第二数据流进行树形结构分级，以使特征值根据树形结构与第二数据流进行关联，而特征值用于表征静态标签表数据。从而，减少了实时数据的处理量，提高了处理效率，优化了处理方式，满足了实时流表关联需求，保证了数据处理系统的运行稳定性。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据流处理方法、装置、服务器及存储介质。

背景技术

随着大数据技术的快速发展，以及各种实时场景类应用需求的不断涌现，使得大数据技术的应用从批量处理为主逐渐向以实时处理为主演进。主流Kafka和Sparkstreaming具有提供海量、复杂、多源、异构的数据处理源，以及对其进行接入、清洗并保证数据质量的能力。数据源首先通过高吞吐能力的Kafka，然后使用Spark streaming进行消费对接完成后，再存入Hbase数据库，或者与数据表关联后再存入Hbase数据库，以完成对实时数据的流处理。

现有技术中，因实时数据的数据源不同，使得数据结构不同，以及针对该实时数据的业务需求不同，使得筛选规则不同。不同数据源的实时数据需要编写不同的筛选规则以满足业务需求，从而导致数据峰值高达近千万每秒的数据流的处理量变得更为庞大，导致数据在处理以及入库过程中出现诸多问题。

例如在入库过程中，采用传统的应用程序接口(Application ProgrammingInterface，简称API)代码进行入库代码编写变得复杂，以及对于数据库的读与写需要拆分为不同进程，则需要多节点部署程序，造成程序部署以及节点监控变得复杂。在数据处理过程中，因需要将工参表内的经纬度、用户标签表等表数据与实时数据实现流表关联以达到业务需求，而由于表数据通常数据量也较大，无法将其预读入内存，在常规的关联方式下，扫描表数据速度通常太慢，导致两者的关联无法满足实时处理需求。

发明内容

本申请提供一种数据流处理方法、装置、服务器及存储介质，用以解决现有实时数据处理量庞大、数据入库复杂以及与表数据关联无法满足实时处理需求等技术问题。

第一方面，本申请提供一种数据流处理方法，包括：

获取第一数据流，所述第一数据流包括地域性特征信息；

对所述第一数据流配置规则参数以生成第二数据流，所述规则参数用于表征流任务的筛选条件；

根据所述地域性特征信息以及所述规则参数将所述第二数据流进行树形结构分级，以使特征值根据所述树形结构与所述第二数据流进行关联，所述特征值用于表征静态标签表数据。

一种可能的设计中，所述对所述第一数据流配置规则参数以生成第二数据流之前，还包括：

根据所述第一数据流以及所述流任务确定所述规则参数，所述流任务包括业务需求。

一种可能的设计中，所述根据所述地域性特征信息以及所述规则参数将所述第二数据流进行树形结构分级之后，还包括：

根据所述业务需求以及所述树形结构通过预设流处理语言对所述第二数据流进行处理以获得处理结果，所述处理结果用于表征所述流任务的实现结果。

一种可能的设计中，将所述规则参数存入所述预设第一数据库，所述预设第一数据库为MySQL数据库；和/或

将所述处理结果以及所述树形结构存入预设第二数据库，所述预设第二数据库为Hbase数据库；和/或，

将所述静态标签表数据存入预设第三数据库，所述预设第三数据库为Hive数据库。

可选地，所述MySQL数据库包括JSON字符串；