[发明专利]一种云存储数据同步的方法及装置

说明书

本发明提出了一种云存储数据同步的方法及装置，通过根据监控到的数据变动的详细信息计算同步推迟时间，不固定同步推迟时间的长短，而是根据用户端数据变动的具体情况，实时自适应地动态调整同步推迟时间，解决了目前云存储服务普遍存在的流量滥用问题，有效降低了云存储数据同步的流量开销。

技术领域

本发明涉及互联网与大数据领域，尤其涉及一种云存储数据同步的方法及装置。

背景技术

随着云计算技术的快速发展和互联网带宽的多次提速，电子数据的云端存储与普适访问最近几年终于成为可能。代表性的云存储服务如Dropbox、微软的OneDrive、谷歌的Google Drive、Box.com、Ubuntu One和SugarSync、金山快盘、百度云盘、360云盘、115网盘、新浪微盘和酷盘等。这些服务中仅Dropbox一家就拥有超过1亿用户、日均新增和更新超过10亿个文件，此外由传统互联网巨头所支持的OneDrive、Google Drive、百度云盘和360云盘等则每家都拥有过亿用户。上述统计还不包括依赖于云存储服务的一系列衍生服务。云存储服务使得今天的互联网用户能够方便而可靠地存取和分享数据。不管用户身在何时何地、使用的是什么终端设备，如个人电脑、平板电脑或智能手机等，在云端存放的数据，如文档、图片、音乐或视频等，都能被自动地同步到所有该用户的在线设备和其他共享用户。也就是说，云存储服务提供了电子数据的普适访问，用户所做的数据变动都能自动反馈到云端、并被云端进一步推送到相关设备，从而极大地简化了数据的跨设备管理和一致性维护。

作为云存储服务的关键技术，数据同步操作通过一系列网络通信行为和本地计算行为，将用户端发生的数据变动自动映射到云端，为数据的可靠备份与灵活分享提供了坚实而便利的支撑。

在一个云存储服务中，用户通常需要指定一个特殊的文件夹，称为同步文件夹，并安装对应的云存储客户端软件，同步文件夹中发生的任何数据变动，如文件创建、文件删除、文件修改等，都会被客户端监控并同步到云存储服务端。具体来说，数据同步过程涉及到一系列的网络通信行为和本地计算行为，前者包括传输数据索引、数据内容、同步通知、同步状态和统计信息、同步确认等，后者包括数据切分、散列计算、数据比对等。整个数据同步过程中，最关键的开销在于：所有的网络通信行为都会消耗网络流量，我们称之为云存储数据同步流量。如果用户端只是偶尔产生几次数据变动，那么相应的数据同步流量是比较少的，不会给云存储系统带来什么负担。然而，随着云存储服务的不断流行，越来越多的用户端频繁产生数据变动，其出现场景可能是协同文档编辑、日志式文件添加、数据库共享等，那么相应的数据同步流量可能会十分巨大、甚至远远超出用户的预料。以Google Drive为例，如果用户每隔5秒钟向同步文件夹中写入5KB的数据，那么在经过约1000秒之后，虽然总的数据变动量只有1MB大小，但是在典型民用网络环境下，所产生的数据同步流量却高达260MB左右。上述现象我们称之为云存储的数据同步流量滥用问题。