[发明专利]一种实时数据治理的方法、设备、存储介质

说明书

本申请公开了一种实时数据治理的方法、设备、存储介质，该方法包括：将采集的数据放入消息队列的第一话题中，通过流式计算引擎的第一作业模块对所述第一话题中的数据进行数据清洗，根据固定的逻辑筛选后标记主题标签和时间戳；将所述标记主题标签和时间戳的数据存储到所述消息队列的第二话题中；通过流式计算引擎的第二作业模块将所述第二话题中的数据按照所述主题标签插入到主题数据库中；将所述主题数据库中的数据同步到预先搭建的Hive数据仓库中；通过流式计算引擎的第三作业模块根据所述Hive数据仓库中的数据生成数据血缘关系图谱。

技术领域

本申请涉及数据处理领域，尤其涉及一种实时数据处理的方法、设备、存储介质。

背景技术

目前埋点数据、网关日志、物联网设备信号数据、线上业务数据等越来越多，但是这些数据由人工处理成本高、效率低、时间长，而且通过人工处理一旦发生错误将会为数据带来不可挽回的损失。

因此，需要一种能够快速、有效而准确的治理这些数据的方案，能够充分利用这些数据做商业智能、用户画像、数据挖掘与预测，对研发、运营、决策、市场都起着至关重要的意义。

发明内容

本申请提供了一种实时数据治理的方法、设备、存储介质，解决了人工治理数据效率低、时间长、成本高的技术问题。

一种实时数据治理的方法，包括：

将采集的数据放入消息队列的第一话题中，通过流式计算引擎的第一作业模块对所述第一话题中的数据进行数据清洗，根据固定的逻辑筛选后标记主题标签和时间戳；

将所述标记主题标签和时间戳的数据存储到所述消息队列的第二话题中；

通过流式计算引擎的第二作业模块将所述第二话题中的数据按照所述主题标签插入到主题数据库中；

将所述主题数据库中的数据同步到预先搭建的Hive数据仓库中；

通过流式计算引擎的第三作业模块根据所述Hive数据仓库中的数据生成数据血缘关系图谱。

在本申请的一种实施例中，通过流式计算引擎对所述第一话题中的数据进行数据清洗，具体包括：根据设定的阈值范围，对不在所述阈值范围内的数据进行过滤；根据现有字段与自然逻辑对过滤出的在所述阈值范围内的数据中的缺失值进行补全；根据预先定义的数据长度与类型对补全缺失值后的数据进行过滤；将根据预先定义的数据长度与类型过滤的数据匹配正则表达式，对字段中的噪音数据、乱码数据进行过滤；对过滤掉所述噪音数据、乱码数据后的数据添加数据编号，对所述数据标记主题标签和时间戳。

在本申请的一种实施例中，所述通过流式计算引擎的第二作业模块将所述第二话题中的数据按照所述主题标签插入到主题数据库中，具体包括：将所述第二话题中键值对格式的数据转换为标准逗号分割格式的数据，并按照指定的主题标签区分数据流向；按照所述数据流向，依次将所述标准逗号分割格式的数据插入到主题数据库中，并对插入到所述主题数据库中的数据打上第二层标签；对无法插入到所述数据库中的数据统一汇总添加原因，放入脏数据表中。

在本申请的一种实施例中，将无法插入到所述数据库中的数据放入脏数据表中之后，所述方法还包括：通过自研程序根据集成的Neo4j操作类，查询主题数据库；对在所述数据清洗阶段添加同一数据编号的数据，按照不同时期的标签，生成数据血缘关系图谱；根据所述数据血缘关系图谱展示数据的来源、所有者、清洗规则与数据层级。

在本申请的一种实施例中，通过流式计算引擎的第三作业模块根据所述Hive数据仓库中的数据生成数据血缘关系图谱，具体包括：通过Filebeat采集所述Hive数据仓库的日志数据到所述消息队列的第三话题中；通过所述流式计算引擎中的第三作业模块将所述Hive数据仓库的日志数据导入到Neo4j中，生成数据血缘关系图谱进行展示；其中，所述数据血缘关系图谱包括数据流向与应用层级关系，数据库、表、字段从属血缘关系两种展示方式。