[发明专利]一种调度一体化平台数据回流与增量同步的系统和方法

权利要求书

1.一种调度一体化平台数据回流与增量同步的系统，其特征在于：包括 dataCrawler采集子系统以及 dataChannel 采集子系统，

所述 dataCrawler 采集子系统包括登录模块、定时采集模块以及自动转发同步模块，其中，

所述登录模块连接自动转发同步模块，以用于所述调度一体化平台初始登录外部客户机，完成数据搭载；

所述定时采集模块连接所述自动转发同步模块，用于定时获取所述调度一体化平台的数据；

所述自动转发同步模块在采信到所述调度一体化平台的数据后，自动同步到所述dataChannel 采集子系统进行数据同步服务；

所述 dataChannel 采集子系统包括数据增量过滤模块、缓存池以及数据同步模块，其中，

所述数据增量过滤模块连接数据同步模块以用于所述自动转发同步模块在采信到所述调度一体化平台的数据时，对采集数据进行压缩加密；

所述缓存池连接所述数据同步模块，用于对过滤后的所述采集数据进行缓存并存储；

所述数据同步模块用于对所述缓存后采集数据进行数据更新；包括以下步骤：

步骤 S1、初始化调度一体化平台并在所述调度一体化平台上启用定时调试任务；

步骤 S2、对调度一体化平台进行登录结果判断，若输出结果为是，则调度一体化平台自动抓取数据，并自动转发到 dataChannel 采集子系统进行数据同步服务；反之， 则登录调度一体化平台的 CAS 登录认证服务，获取 token 标记数据，调度一体化平台登录成功后，直接获取 token 标记数据并自动转发到 dataChannel 采集子系统进行数据同步服务；

步骤 S3、dataChannel 采集子系统接收数据后，对所接收的数据进行加密并进行对比缓存；其中，

所述 dataChannel 采集子系统接收数据后，对所接收的数据进行加密并与缓存池数据作比较，若所接收数据不存在缓存池时，则直接添加入增量数据队列，否则加入修改数据队列中

步骤 S4、缓存完成后将所接受的数据添加到增量任务，并对增量任务进行入库， 其中，所述增量任务的入库具体实施方式包括：增量新增入库以及增量修改入库；

步骤 S5、将已入库的增量任务标记为缓存数据，完成调度一体化平台数据回流与增量同步。

2.根据权利要求 1 所述的一种调度一体化平台数据回流与增量同步的系统，其特征在于：所述数据增量过滤模块在对采集数据进行压缩加密时，若，所述采集数据已进行同步，则所述采集数据进行过滤，过滤完成后输送至所述缓存池中。

3.根据权利要求 1 所述的一种调度一体化平台数据回流与增量同步的系统，其特征在于：所述 dataCrawler 采集子系统通信连接所述 dataChannel 采集子系统。