[发明专利]一种全链路数据整合方法及系统

说明书

本发明涉及一种全链路数据整合方法及系统，所述方法包括如下步骤：步骤1、通过引接业务数据、物联设备数据形成数据资源池；步骤2、通过数据质量检测方法判断数据质量；步骤3、通过数据分层分域、标准转换、去重处理数据形成数据编目；步骤4、最终通过零编码的数据服务功能提供整合后的数据。本发明提供的系统为行业构建完善、共享、统一管理数据环境提供基本保障，是把行业的监测数据、业务数据等数据的数据作为资产管理的有效手段。

技术领域

本发明涉及计算机物联网领域，尤其涉及一种全链路资源数据整合方法及系统。

背景技术

行业内存在大量的业务系统和物联设备，目前已有大量的存量数据，系统和物联设备运行随时产生增量数据。但是当前情况是数据分散，标准缺失，缺乏技术手段对数据汇聚处理，无法形成统一有效、有价值的数据。在当前数据作为生产资料的时代，如何有效汇聚、处理数据，形成行业的数据资产目录，并通过数据服务能力，提高各部门之间、以及本部门与其他部门之间的业务协同能力，对行业具有重大意义。

发明内容

本发明主要解决的技术问题是提供一种数据整合和价值变现系统，本发明的系统通过数据引接、数据处理、数据编目、数据服务功能，实现资源类数据的整合和价值变现。通过引接业务系统、物联设备数据形成数据资源池，通过数据质量检测方法判断数据质量，通过数据分层分域、标准转换、去重等规则处理数据形成资源数据编目，最终通过零编码的数据服务功能提供数据价值变现的通道。本发明通过引接、处理数据，形成资源数据编目，并以灵活的方法提供数据服务，提高数据在业务联动中的利用价值。

本发明的技术方案为：一种全链路数据整合方法，包括如下步骤：

步骤1、通过引接业务系统、物联设备数据形成数据资源池；

步骤2、通过数据质量检测方法判断数据质量；

步骤3、通过数据分层分域、标准转换、去重处理数据形成资源数据编目；

步骤4、最终通过零编码的数据服务功能提供整合后的数据。

根据本发明的另一方面，提出一种全链路数据整合系统，包括：数据源模块、任务调度模块、数据引接模块、数据处理模块、数据编目模块和数据服务模块，通过各个模块协作配合，整合数据全链路数据；其中，

数据源模块利用ClassLoader技术，采用插件化机制，在内存中对不同的数据库驱动隔离管理，避免冲突；提供数据源SDK给有数据查询需求的功能模块，即数据引接模块和数据处理模块，实现数据源动态加载；

任务调度模块采用分布式调度技术，调度作为master,执行方作为worker，可配置任务调度周期，按照年月日时分周期调度数据处理和数据服务任务，master利用分布式锁控制worker调度和执行，多个worker采用伪分布式机制，采用单点部署，或---根据并发量扩展多个worker节点。

数据引接模块包括数据库引接、物联设备数据实时采集和消息中间件数据引接，其中数据库引接模块引用数据源SDK,通过数据库提供的JDBC接口引接数据、物联设备数据引接通过适配物联设备协议，实时引接物联数据写入消息中间件，消息中间件数据引接通过订阅消费模式，监听消息中间件topic，实时消费数据；

数据处理模块通过组件化配置方式，可视化设计数据处理流程，包括去重、字符串替换、json解析、时间格式转换等，提交到任务调度模块；

数据编目根据业务梳理数据资源分类，按照树型结构编排目录体系，形成资源数据资产，数据开发者选择数据资产对外发布；

数据服务模块以零编码的方式，提供可视化SQL编辑窗口，数据开发者编写SQL并发布为数据服务，数据服务经审核通过后向其他数据需求方提供查询和订阅功能，数据需求方根据数据服务开发规范调用数据服务接口获取数据。

有益效果：