[发明专利]数据同步方法、装置及存储介质在审
申请号: | 202110688989.X | 申请日: | 2021-06-22 |
公开(公告)号: | CN113377871A | 公开(公告)日: | 2021-09-10 |
发明(设计)人: | 范凌;王喆 | 申请(专利权)人: | 特赞(上海)信息科技有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/23;G06F16/28;G06F16/242 |
代理公司: | 北京知果之信知识产权代理有限公司 11541 | 代理人: | 卜荣丽;李志刚 |
地址: | 200131 上海市浦东新区中国*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 同步 方法 装置 存储 介质 | ||
1.一种数据同步方法,用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步,其特征在于,包括:
获取所述第一类型数据中任意一个数据唯一的第一标识;
获取所述第二类型数据中任意一个数据唯一的第二标识;
基于预先设置的转换规则将第一标识与第二标识之间建立映射关系;
基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。
2.根据权利要求1所述的数据同步方法,其特征在于,
所述基于预先设置的转换规则将第一标识与第二标识之间建立映射关系包括:
对所述第一标识和第二标识展示;
接收管理员输入的转换规则,所述转换规则包括对所述第一标识和第二标识的关联信息;
所述第一标识和第二标识基于所述关联信息建立映射关系。
3.根据权利要求1所述的数据同步方法,其特征在于,
所述第一标识包括SQL字段,所述SQL字段为id信息以及属性信息中的任意一种或多种;
所述第二标识包括elastic search字段,所述elastic search字段为id信息以及属性信息中的任意一种或多种。
4.根据权利要求2所述的数据同步方法,其特征在于,还包括:
获取与第一标识不具有关联关系的所有第二标识,将不具有关联关系的第二标识标记为不支持搜索。
5.根据权利要求1所述的数据同步方法,其特征在于,还包括:
获取上一次形成数据同步后的大数据模型的时间信息;
将所述时间信息反馈至关系型数据模型处;
在所述时间信息后,当关系型数据模型接收到新的第一类型数据时更新所述大数据模型。
6.根据权利要求5所述的数据同步方法,其特征在于,
所述当关系型数据模型接收到新的第一类型数据时更新所述大数据模型包括:
获取新的第一类型数据的第三标识,将所述第三标识与第一标识比对;
若存在与所述第三标识相对应的第一标识,则对相对应的第一标识执行覆盖更新操作;
若不存在与所述第三标识相对应的第一标识,则在所述大数据模型中执行新增更新操作。
7.一种数据同步装置,用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步,其特征在于,包括:
第一获取模块,用于获取所述第一类型数据中任意一个数据唯一的第一标识;
第二获取模块,用于获取所述第二类型数据中任意一个数据唯一的第二标识;
映射关系建立模块,用于基于预先设置的转换规则将第一标识与第二标识之间建立映射关系;
数据同步模块,用于基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。
8.根据权利要求7所述的数据同步装置,其特征在于,
所述映射关系建立模块包括:
展示单元,用于对所述第一标识和第二标识展示;
关联单元,用于接收管理员输入的转换规则,所述转换规则包括对所述第一标识和第二标识的关联信息;
建立单元,用于所述第一标识和第二标识基于所述关联信息建立映射关系。
9.根据权利要求7所述的数据同步装置,其特征在于,
所述第一标识包括SQL字段,所述SQL字段为id信息以及属性信息中的任意一种或多种;
所述第二标识包括elastic search字段,所述elastic search字段为id信息以及属性信息中的任意一种或多种。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现权利要求1至6任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于特赞(上海)信息科技有限公司,未经特赞(上海)信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110688989.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置