[发明专利]互联网站数据的单向同步方法

说明书

技术领域

本发明涉及一种数据的同步方法。

背景技术

基于互联网实现跨网站的数据同步有许多应用需求。例如某移动通信运营商建立一个专门适于手机访问的网站A，该网站A从适于计算机访问的网站B、网站C等获取内容，则需要将网站B、网站C的数据单向同步至网站A，如图1所示。

目前实现一个或多个源头的互联网站数据同步的应用大多在局域网内、或者在互联网上构建VPN、或者通过数据库系统自身的同步机制、或者依赖某些同步工具来完成。这些方案并不适合跨网络整合不同源头的互联网站数据。而随着互联网应用集成需求的增加，迫切需要找到支持异构环境、支持普通互联网络环境、支持松耦合的技术方案来实现不同互联网站资源的整合利用。

发明内容

本发明所要解决的技术问题是提供一种互联网站数据的单向同步方法，该方法针对解决跨企业、跨互联网、异构系统的数据资源整合具有效率高、适用范围广特点。

为解决上述技术问题，本发明互联网站数据的单向同步方法为：

将互联网站数据的每条数据记录根据大小分为大容量数据、中容量数据和小容量数据；

还将互联网站数据的每条数据记录根据更新频率分为快速更新数据、中速更新数据和慢速更新数据；

还将互联网站数据的每条数据记录根据用户访问的实时性要求，分为高实时性要求数据和低实时性要求数据；

当数据记录同时属于高实时性要求数据和快速更新数据，则采用实时更新策略；

当数据记录同时属于高实时性要求数据和中速更新数据，则采用短周期缓存策略；

当数据记录同时属于高实时性要求数据、慢速更新数据和大容量数据或中容量数据，则采用短周期缓存策略或后台增量更新策略；

当数据记录同时属于高实时性要求数据、慢速更新数据和小容量数据，则采用短周期缓存策略；

当数据记录同时属于低实时性要求数据和大容量数据或中容量数据，则采用短周期缓存策略或后台增量更新策略；

当数据记录同时属于低实时性要求数据和小容量数据，则采用短周期缓存策略或实时更新策略或增量更新策略；

所述短周期缓存策略为：用户访问数据同步的目标网站时，目标网站检查用户请求的数据记录在本地的最后更新时间与当前时间的时间差，当该时间差≤预定值，则以本地的数据记录返回给用户；当该时间差＞预定值，目标网站向数据同步的源网站请求更新，源网站将用户请求的数据记录的最新内容发送给目标网站，目标网站再返回给用户；

所述实时更新策略为：用户访问数据同步的目标网站时，目标网站总是向数据同步的源网站请求更新，源网站将用户请求的数据记录的最新内容发送给目标网站，目标网站再返回给用户；

所述增量更新策略为：数据同步的源网站将每条数据记录的最后更新时间作为时间戳，每条数据记录的时间戳的变化总是单向递增的；源网站仅将目标网站上时间戳与源网站上时间戳不一致的数据记录单向同步到目标网站；

所述后台增量更新策略为：数据同步的源网站将每条数据记录的最后更新时间作为时间戳，每条数据记录的时间戳的变化总是单向递增的；目标网站根据本地数据记录的最新时间戳，向源网站请求所述最新时间戳之后发生变更的数据记录的标志字段；每条数据记录的标志字段至少记载了该条数据记录的时间戳和更新状态；所述最新时间戳之后发生变更的数据记录的标志字段从源网站同步到目标网站后，这些标志字段标记为“等待更新”；目标网站再将所有标记为“等待更新”的数据记录分一次或多次、单线程或多线程地从源网站进行数据更新。

本发明针对互联网站数据的各种类型，给出了不同的数据同步策略，各个数据同步策略均使用每条数据记录的最后更新时间作为判别是否需要进行同步的依据，从而具有较大的适应性。其中的后台增量更新策略，特别适合大量数据的持续同步，可以较好地兼顾数据流量的极小化和数据同步效率的极大化。

附图说明

图1是互联网站数据单向同步的应用示例示意图；

图2是本发明后台增量更新策略的示意图。

具体实施方式

本发明将互联网站数据按照如下几种分类方法进行分类：

首先，根据单条数据记录的大小进行分类，分为大容量数据、中容量数据和小容量数据。

例如，当单条数据记录≥100KB，则归类为大容量数据；当单条数据记录≥20KB且＜100KB，则归类为中容量数据；当单条数据记录＜20KB，则归类为小容量数据。

以文学网站为例，文学作品的章节数据通常属于大容量数据或中容量数据；每个账户的书架收藏信息、好友信息通常属于小容量数据。