[发明专利]多源数据同步方法、系统及其应用的模型中枢在审
申请号: | 202110065770.4 | 申请日: | 2021-01-19 |
公开(公告)号: | CN112765272A | 公开(公告)日: | 2021-05-07 |
发明(设计)人: | 郁强;杨彬;马俊 | 申请(专利权)人: | 城云科技(中国)有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/25 |
代理公司: | 无锡市汇诚永信专利代理事务所(普通合伙) 32260 | 代理人: | 李珍珍 |
地址: | 310052 浙江省杭州市滨江区长*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 同步 方法 系统 及其 应用 模型 中枢 | ||
1.一种多源数据同步方法,其特征在于,包括:
创建基础数据表;
依据获取源数据的方式配置同步脚本,其中所述同步脚本至少定义配置数据库连接信息节点connection的同步数据源连接节点reader以及写入数据库连接节点writer;
依据所述同步脚本配置源数据同步记录,所述源数据同步记录至少包括执行器名称、执行路由方式、定时任务表达式、运行模式、执行器方法名称、子任务id、任务参数;
依据所述源数据同步记录和所述同步脚本从不同的数据库内同步源数据,并写入所述基础数据表内。
2.根据权利要求1所述的多源数据同步方法,其特征在于,所述数据库连接信息节点connection配置数据库连接信息,包括用户名username、密码password、jdbcUrl数据库连接信息。
3.根据权利要求1所述的多源数据同步方法,其特征在于,当所述获取源数据的方式为SQL语句获取时,所述同步脚本配置querySql节点,querySql节点的内容为需要同步的数据查询SQL语句。
4.根据权利要求1所述的多源数据同步方法,其特征在于,若所述获取源数据的方式为数据表直接同步,所述写入数据库连接节点writer下设置column字段和table字段,所述column字段为需要写入所述数据基础表的字段名称,所述table字段为写入的所述数据基础表的名称。
5.根据权利要求1所述的多源数据同步方法,其特征在于,所述任务参数填写配置的同步脚本的文件路径。
6.根据权利要求1所述的多源数据同步方法,其特征在于,依据设置的所述定时任务表达式的参数执行数据同步任务,依据所述同步脚本的所述同步数据源连接节点reader以及所述写入数据库连接节点writer设置的数据源连接创建任务算法。
7.根据权利要求1所述的多源数据同步方法,其特征在于,调取所述基础数据表内的源数据,依据设定规则进行统计数据计算。
8.一种多源数据同步系统,其特征在于,包括:
基础数据表;
同步脚本配置单元,依据获取源数据的方式配置同步脚本,其中所述同步脚本至少定义同步数据源连接节点reader以及写入数据库连接节点writer,所述同步数据源连接节点reader和所述写入数据库连接节点writer配置数据库连接信息节点connection;
源数据同步记录配置单元,依据所述同步脚本配置源数据同步记录,所述源数据同步记录的配置内容至少包括执行器名称、执行路由方式、定时任务表达式、运行模式、执行器方法名称、子任务id、任务参数;
同步单元,依据所述源数据同步记录和所述同步脚本从不同的数据库内同步多源数据,并写入所述基础数据表内。
9.一种模型中枢,其特征在于,包括管理配置平台及脚本执行平台,执行权利要求1到8任一所述的多源数据同步方法,所述同步脚本以及所述所述源数据同步记录在所述管理配置平台上配置,所述脚本执行平台依据所述同步脚本以及所述源数据同步记录从不同的数据库内同步源数据。
10.一种电子设备,其特征在于,
处理器;以及
存储器,在所述存储器中存储有计算机存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行根据权利要求1-8中任一所述的多源数据同步方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于城云科技(中国)有限公司,未经城云科技(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110065770.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于烧制竹炭的节能环保型设备
- 下一篇:一种眼镜片表面清洁系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置