[发明专利]一种同步商家ERP系统数据到电商平台的方法及系统

说明书

本发明涉及数据处理技术领域，公开了一种同步商家ERP系统数据到电商平台的方法，包括：在商家服务器上启动同步客户端；创建sqlite数据库；同步客户端通过http接口获取商家ERP数据库的连接信息；同步客户端通过http接口获取已同步到电商平台系统中的商家数据全量并存储到sqlite数据库中，通过sqlite数据库标识出增量数据，压缩增量数据并通过http接口发送到电商平台系统；启动变化数据捕获任务，查询商家ERP系统数据并将其转换成标准数据模型；启动数据同步任务，获取商家ERP系统上次同步数据的时间，通过sqlite数据库查询增量数据；电商平台系统接收到商家ERP系统上的增量数据并更新，完成数据同步，本发明还公开了一种同步商家ERP系统数据到电商平台的系统。

技术领域

本发明涉及数据处理技术领域，具体地说，是一种同步商家ERP系统数据到电商平台的方法及系统。

背景技术

数据同步可分为全量同步和增量同步，一般已增量同步为主全量同步为辅，因为变化的数据总是少部分，全量同步会增加网络带宽的占用、增加同步延时、增加系统数据处理压力；数据同步目前已经存在一些开源成熟的数据同步产品，比如阿里巴巴的Canal和DataX；Canal增量同步的原理是监听数据库日志，比如监听MySql的binglog日志。Canal主要是对内部数据库的数据进行同步，并且由于不能对商家系统或者数据库做任何配置，因此使用Canal实现同步实施难度非常大。DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能，相比Canal，更加适合同步接异构ERP系统数据。

以DataX增量数据同步为例，还是需要许多限制条件：它需要我们对数据源的增量数据使用where条件进行切分，比如数据更新时间戳，但是由于ERP系统种类繁多，各个商家使用的ERP系统并不统一，数据结构也各不相同，并没有统一的字段进行增量切分，平台方也不能对商家系统或者数据结构做任何配置和修改；因此，通常不得不全量同步商家数据到平台系统中。

为了降低平台系统数据处理压力、降低带宽占用、减少数据同步延时，我们仍需使用增量数据同步的方式，而为了获取商家系统的增量数据就不得不在商家端将商家系统中的数据和平台已有数据进行比对，计算出增量数据再发送到平台系统中，本发明提供了一种同步商家ERP系统数据到电商平台的方法及系统。

发明内容

本发明的目的在于提供一种同步商家ERP系统数据到电商平台的方法及系统，通过更新时间戳即可实现将增量数据发送到平台的功能，具有减少带宽占用、同步延时和平台压力的效果。

本发明通过下述技术方案实现：一种同步商家ERP系统数据到电商平台的方法，包括以下步骤：

步骤S1，在商家服务器上启动同步客户端；

步骤S2，同步客户端启动后，创建sqlite数据库，在sqlite数据库中统一定义时间戳；

步骤S3，同步客户端通过http接口获取商家ERP数据库的连接信息；

步骤S4，同步客户端通过http接口获取已同步到电商平台系统中的商家数据全量并存储到sqlite数据库中，通过sqlite数据库标识出增量数据，压缩增量数据并通过http接口发送到电商平台系统；

步骤S5，启动变化数据捕获任务，查询商家ERP系统数据并将其转换成标准数据模型；

步骤S6，启动数据同步任务，获取商家ERP系统上次同步数据的时间，通过sqlite数据库更新时间戳并查询增量数据；

步骤S7，电商平台系统接收到商家ERP系统上的增量数据并更新，完成数据同步。

为了更好地实现本发明，进一步地，步骤S2包括：