[发明专利]一种数据同步方法及装置

说明书

本发明实施例提供了一种数据同步方法及装置。所述方法包括：获取输入数据源和输出数据源；对输入数据源和输出数据源进行规则配置，确定输入数据源的至少一个输入数据表，及输出数据源的至少一个输出数据表；依据各输入数据表和各输出数据表，确定各输入数据表的至少一个输入字段，及各输出数据表的至少一个输出字段；配置与输入数据源和输出数据源对应的同步触发条件；其中，同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种；在满足同步触发条件时，对各输入字段和各输出字段进行同步处理，以将各输出字段同步至输入数据源。本发明可以使得整个交换过程直观易懂、通俗简易。

技术领域

本发明涉及数据同步处理技术领域，特别是涉及一种数据同步方法及装置。

背景技术

目前，市场是已经出现了一些关系型数据库之间的数据交换软件：

1、基于CS(Client/Server)架构的ETL(Extraction-Transformation-Loading，数据抽取、同步和加载)配置方式，基于CS架构的ETL配置方式往往是由ETL厂商提供，这种配置方式功能强大，使用灵活。但是该方式配置方法较为复杂，甚至要求配置人员具有相关的专业知识和编程能力，给用户的使用带来不便。

2、基于BS(Browser/Server)架构的配置方式，市面上此种配置方式由于基于不同ETL厂商开发，实现方式也是千差万别，但大多都秉承了ETL厂商的配置方式，配置环节多样、复杂，数据结构混乱，通常配置人员须具有专业能力水平才能完成配置，用户使用不方便。

发明内容

本发明提供了一种数据同步方法及装置，以解决现有技术中数据同步方式比较复杂，需要配置人员具有相关的专业知识和编程能力，给用户使用带来不便，且基于BS架构的配置方式，市场上的实现不能摆脱信息项繁多，功能庞杂等缺点，一定程度上影响了它的使用和拓展，用户体验不好的问题。

为了解决上述问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种数据同步方法，包括：获取输入数据源和输出数据源；对所述输入数据源和所述输出数据源进行规则配置，确定所述输入数据源的至少一个输入数据表，及所述输出数据源的至少一个输出数据表；依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段；配置与所述输入数据源和所述输出数据源对应的同步触发条件；其中，所述同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种；在满足所述同步触发条件时，对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源。

优选地，在所述获取输入数据源和输出数据源的步骤之后，还包括：对所述输入数据源和所述输出数据源进行配置，确定所述输入数据源和所述输出数据源分别对应的配置项；其中，所述配置项包括数据源ID、数据源待替换位置和数据源密码中的至少一项。

优选地，在所述依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段的步骤之后，还包括：对各所述输出字段进行过滤处理；依据各过滤处理后的输出字段，确定所述输出数据表对应的替换关键字；依据所述替换关键字及各所述输入字段，对各所述过滤处理后的输出字段进行格式转换及合并处理，生成一目标输出数据表。

优选地，所述对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源的步骤，包括：将所述目标输出数据表同步至所述输入数据源；对所述目标输出数据表进行数据拆分处理，以得到至少一个替换字段；将各所述替换字段，添加至各所述输入数据表。

优选地，在所述对各所述输入字段和各所述输出字段进行同步处理的步骤之后，还包括：对各所述替换字段进行去重处理，生成同步处理后的输入数据源。