[发明专利]一种分布式环境下的实时数据同步方法

摘要

本发明公开了一种分布式环境下的实时数据同步方法，该方法首先建立分中心实时数据中心和总中心实时数据中心，采集数据实时交换进入数据中心，按配置存入数据中心的融合库、落选库；然后同步总中心和分中心的数据，在同步过程中，分中心负责发起同步操作及维护历次同步操作间的增量一致性，总中心负责响应分中心发起的同步及按照配置完成同步过程；应用本发明的方法，可有效解决分布环境下各部门实时数据不一致导致的冲突及业务无法运作等问题，同时该方法可以提高数据同步的准确性及效率。

主权项

一种分布式环境下的实时数据同步方法，其特征在于，该方法包括如下步骤：(1)建立分中心实时数据中心；(2)建立总中心实时数据中心；(3)同步总中心和分中心的数据；所述步骤(1)和步骤(2)通过以下子步骤来实现：(1.1)采集终端自动采集的数据进入到自动库中，对自动库进行编号，对自动库设定优先级；(1.2)人工录入的数据进入到人工库中；(1.3)采集数据进入融合库和落选库，该步骤具体为：(1.3.1)过滤，对本次采集得到的数据进行过滤：一次采集的数据中经常会出现“同一条”数据，所述“同一条”数据指的是数据的主键相等，即产生数据的站点和产生数据的时间都相同的数据，对“同一条”数据，如果两条数据完全相同，则弃掉后来的那条，如果前一条数据某字段为空，而另一条数据恰好该字段有值，则将此值补入到前一条数据，如果前一条数据和后一条数据某个字段值不同，产生冲突，则按照事先设定的设备优先级选取优先级高的值，将这些操作做好日志，保留过滤后的数据到下一步；(1.3.2)质量判定，对过滤后的数据进行质量判定，将错误数据和可疑数据存入落选库，只保留好数据到融合库：预先对数据的各个实时数据设置错误域和可疑域，一旦数据的某个属性落入错误域和可疑域，则将此数据打上错误或者可疑标记，做好日志，并将此数据存入落选库；(1.3.3)去重，对质量判定后的好数据进行去重：对所有过滤后的数据，去检查融合库中是否有“相同”数据，如果有，则按照过滤的方式，将两条“相同”数据合并，并做好日志；(1.3.4)修改错误/可疑数据：对落选库中的数据，管理人员进行核对审查，将无用数据删除，对有用数据则经过人工修改后再合并入融合库中，做好日志；(14)将融合库中的数据按需进行数据同步；融合库中数据的数据格式如下：字段1字段2字段3字段4…n(自动/人工)库编号是否被人工编辑(总/分)中心编号具体数据字段1是采集源数据库的编号，字段2标识是否被人工编辑过，被人工编辑过的数据优先级最高，字段3是总中心和分中心的编号，防止数据重复同步，字段4…n为具体数据；所述步骤(3)中，在同步过程中，分中心负责发起同步操作及维护历次同步操作间的增量一致性；总中心负责响应分中心发起的同步及按照配置完成同步过程；配置的优先级如下：(a)人工修订数据优先级最高；(b)人工库数据优先于自动库数据；(d)新数据优先于旧数据；(e)自动库优先级按预先编号设定的优先级；分中心端的具体操作如下：(3.1.1)取得同步帧的操作时间戳范围：实时数据中心的每条实时数据，除了数据采集时间event_time外，还有一个操作时间戳op_time，记录最后一次对该数据进行插入或者修正的时间；(a)上一个同步帧的结束时间记为本次同步帧的起始时间t0；(b)结束时间t1＝min{t0+max_dt,current_time‑min_buffer_time}；其中，max_dt为同步帧的时间最大跨度；current_time为当前时间；min_buffer_time为总中心和分中心的时差；也就是说，一个同步帧的时间跨度最大为max_dt，并且只同步距当前时间超过min_buffer_time的数据；(c)根据步骤(a)和步骤(b)确定同步帧时间范围为[t0,t1)；(3.1.2)取得需要和总中心端同步的数据：取得操作时间戳op_time在[t0,t1)间，数据来源来自本分中心的所有实时数据；(3.1.3)压缩、打包、发送到总中心端；(3.1.4)接受、解压总中心端返回的结果，逐条检查实时数据，如果和分中心本地的数据不同，则插入或修正，插入或修正时，将来源标记为“总中心”，以免循环同步；(3.1.5)等待下一次触发同步；总中心端的具体操作如下：(3.2.1)监听分中心端发来的同步请求；(3.2.2)解压分中心端发来的实时数据；(3.2.3)从总中心本地实时数据中，提取和分中心实时数据的站点、数据时间一致的实时数据；(3.2.4)过滤分中心发来的实时数据：(a)如果和总中心数据一致，直接丢弃；(b)如果总中心中没有相应数据，通过；(c)如果是不一致数据，按配置丢弃、记为可疑数据、或者通过，记为可疑的数据，记入可疑数据表，等待人工校核处理；(3.2.5)将通过的数据存入总中心，插入或修正，数据来源标记为对应的分中心；(3.2.6)按[t0,t1)查询需要同步到分中心的实时数据：(a)操作时间戳op_time在[t0,t1)；(b)站点需要与该分中心同步；(c)数据来源不是该分中心；(3.2.7)按分中心发来的数据，删除重复数据；(3.2.8)压缩、打包、发送到分中心端。