[发明专利]一种全链路数据整合方法及系统

权利要求书

1.一种全链路数据整合方法，其特征在于，包括如下步骤：

步骤1、通过引接业务数据、物联设备数据形成数据资源池；

步骤2、通过数据质量检测方法判断数据质量；

步骤3、通过数据分层分域、标准转换、去重处理数据形成资源数据编目；

步骤4、最终通过零编码的数据服务功能提供整合后的数据。

2.根据权利要求1所述的一种资源数据整合方法，其特征在于，还包括：

对数据库、中间件、文件系统的多源异构的数据进行引接适配。

3.根据权利要求1所述的一种资源数据整合方法，其特征在于，还包括：

采用组件化可拖拽式设计和动态SQL式的数据质量检测和数据清洗。

4.根据权利要求1所述的一种资源数据整合方法，其特征在于，还包括：

结合数据标准和大数据平台进行可视化数据建模。

5.根据权利要求1所述的一种资源数据整合方法，其特征在于，还包括：

结合数据分级分类和用户权限管控实现零编码的数据服务。

6.一种全链路资源数据整合系统，其特征在于，包括：数据源模块、任务调度模块、数据引接模块、数据处理模块、数据编目模块和数据服务模块，通过各个模块协作配合，整合数据全链路数据；其中，

数据源模块利用ClassLoader技术，采用插件化机制，在内存中对不同的数据库驱动隔离管理，避免冲突；提供数据源SDK给有数据查询需求的功能模块，即数据引接模块和数据处理模块，实现数据源动态加载；

任务调度模块采用分布式调度技术，调度作为master,执行方作为worker，可配置任务调度周期，按照年月日时分周期调度数据处理和数据服务任务，master利用分布式锁控制worker调度和执行，多个worker采用伪分布式机制，采用单点部署，或根据并发量扩展多个worker节点；

数据引接模块包括数据库引接、物联设备数据实时采集和消息中间件数据引接，其中数据库引接模块引用数据源SDK,通过数据库提供的JDBC接口引接数据、物联设备数据引接通过适配物联设备协议，实时引接物联数据写入消息中间件，消息中间件数据引接通过订阅消费模式，监听消息中间件topic，实时消费数据；

数据处理模块通过组件化配置方式，可视化设计数据处理流程，包括去重、字符串替换、json解析、时间格式转换，提交到任务调度模块；

数据编目根据资源业务梳理数据资源分类，按照树型结构编排目录体系，形成资源数据资产，数据开发者选择数据资产对外发布；

数据服务模块以零编码的方式，提供可视化SQL编辑窗口，数据开发者编写SQL并发布为数据服务，数据服务经审核通过后向其他数据需求方提供查询和订阅功能，数据需求方根据数据服务开发规范调用数据服务接口获取数据。