[发明专利]数据同步方法、装置及存储介质

说明书

本发明提供一种数据同步方法、装置及存储介质，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，包括：获取第一类型数据中任意一个数据唯一的第一标识；获取第二类型数据中任意一个数据唯一的第二标识；基于预先设置的转换规则将第一标识与第二标识之间建立映射关系；基于映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。SQL是一种关系型数据库的描述语言，研发人员很容易写出符合业务需求的查询SQL。本发明可以通过可视化的界面来配置SQL字段和e l ast i c search字段的映射关系，再由系统自动完成模型转换，配合全量、增量的策略把数据同步到大数据模型、创建索引提供给研发人员使用，降低研发成本。

技术领域

本发明涉及数据同步技术领域，尤其涉及一种数据同步方法、装置及存储介质。

背景技术

大数据时代已经来临，每个公司每时每刻都在产生大量的数据，而这些数据通常会存储在数据库中，由于数据增长较快、规模太大，给数据的存储和使用都带来很多困难。

很多企业的软件研发人员不懂大数据相关技术或仅有一些了解，如果直接使用大数据技术方案开展研发工作会带来很多不确定性问题，导致系统不稳定、项目延期、研发成本上升。

行业中虽然已经存在一些大数据的解决方案，例如elastic search等等。这些解决方案仅描述了数据库单表到elastic search的数据同步，而且使用门槛较高，完全不能满足实际的项目需求。

发明内容

本发明实施例提供一种数据同步方法、装置及存储介质，能够将关系型数据模型与大数据模型中的数据进行同步，方便研发人员获取数据，提高研发效率，降低研发成本。

本发明实施例的第一方面，提供一种数据同步方法，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，包括：

获取所述第一类型数据中任意一个数据唯一的第一标识；

获取所述第二类型数据中任意一个数据唯一的第二标识；

基于预先设置的转换规则将第一标识与第二标识之间建立映射关系；

基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。

可选地，在第一方面的一种可能实现方式中，所述基于预先设置的转换规则将第一标识与第二标识之间建立映射关系包括：

对所述第一标识和第二标识展示；

接收管理员输入的转换规则，所述转换规则包括对所述第一标识和第二标识的关联信息；

所述第一标识和第二标识基于所述关联信息建立映射关系。

可选地，在第一方面的一种可能实现方式中，所述第一标识包括SQL字段，所述SQL字段为id信息以及属性信息中的任意一种或多种；

所述第二标识包括elastic search字段，所述elastic search字段为id信息以及属性信息中的任意一种或多种。

可选地，在第一方面的一种可能实现方式中，还包括：

获取与第一标识不具有关联关系的所有第二标识，将不具有关联关系的第二标识标记为不支持搜索。

可选地，在第一方面的一种可能实现方式中，还包括：

获取上一次形成数据同步后的大数据模型的时间信息；

将所述时间信息反馈至关系型数据模型处；

在所述时间信息后，当关系型数据模型接收到新的第一类型数据时更新所述大数据模型。