[发明专利]实现系统中同步数据修复的方法及系统

说明书

本发明涉及一种实现系统中同步数据修复的方法和系统。所述方法包括：获取产生的对外服务数据，生成所述对外服务数据对应的日志记录，以记录所述对外服务数据；比较所述日志记录与对内服务数据库，判断所述对内服务数据库是否存在数据丢失；如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据。通过本发明方案，能够及时发现对内服务数据库中丢失的数据，并快速修复丢失的数据，降低了对消息中间件的依赖性。

技术领域

本发明涉及互联网技术领域，特别是涉及实现系统中同步数据修复的方法及系统。

背景技术

在web2.0时代，每一个用户都可以生成自己的内容，互联网上的所有内容可由用户创造，而不只是以前的某一些人，使得互联网内容飞速增长。UGC(User GeneratedContent，用户原创内容)系统即是可为每个访问用户生成其私有数据的系统。

UGC的概念起源于互联网领域，即用户将自己原创的内容通过互联网平台进行展示或者提供给其他用户。UGC并不是某一种具体的业务，而是一种用户使用互联网的新方式，使得互联网使用方式由原来的以下载为主变成以下载/上传并重。YouTube、社交网络、博客和播客等都是UGC系统的主要应用形式。

如图1所示，现有的UGC系统通常包括对外服务器和对内服务器。其中，对外服务器是一个高可用、高稳定性、高性能的服务器，用于直接为外网用户提供业务，该服务器每秒处理着大量的用户请求，而处理这些用户请求的对外服务数据都为UGC数据，即仅与当前访问用户相关。对外服务器可将这些用户请求对应的UGC数据缓存到一个高速的对外数据空间(内存服务)，但该对外数据空间对于批量读写数据的支持较差。对内服务器是一个面向系统管理员的服务器，通常作用为将同步得到的大量用户数据遍历展示出来，便于管理员查看和管理用户数据。通常对内服务器的请求量较小，不需要太高的性能，但需具备遍历大量用户数据的能力，通常可通过配置有一个能够支持遍历大量存储数据的对内数据空间(如MySQL)实现。

通常在一些放量比较大的UGC系统中，需对对外服务产生的UGC数据进行数据同步，将对外服务产生的对外服务数据同步到对内服务数据库中，管理人员通过对内服务数据库可查看和管理用户数据，进而实现网站管理和维护。为了将对外服务产生的UGC数据同步到对内服务数据库，同时又不影响对外服务器的对外服务性能，现有的做法为：通过一个消息中间件(message oriented middleware)和对内服务器，将对外服务产生的UGC数据以异步方式同步到对内服务数据库，管理人员通过对内服务器访问对内服务数据库，遍历所述对内服务数据库中的同步数据查看和管理大量用户数据，实现网站管理和维护。

然而，基于这种数据同步方式，对消息中间件的可靠性的要求较高，一旦出现消息中间件丢消息(由于网络波动等因素导致)，或者对内服务器BUG导致没能及时处理好消息中间件发送的对外服务数据的情况，将导致对外服务产生的对外服务数据无法可靠的同步到对内数据空间中，即数据同步丢失，且这种情况导致的数据丢失，无法通过对内服务器进行修复。

发明内容

基于此，本发明提供一种实现系统中同步数据修复的方法及系统，便于发现同步数据中丢失的数据，并快速修复丢失的数据，降低对消息中间件的依赖性。

本发明采用以下技术方案：

本发明一方面提供一种实现系统中同步数据修复的方法，包括：

获取产生的对外服务数据，生成所述对外服务数据对应的日志记录；

比较所述日志记录与对内服务数据库，判断所述对内服务数据库是否存在数据丢失；

如果存在数据丢失，根据所述日志记录修复所述对内服务数据库中的同步数据。

本发明另一方面提供一种分布式实现系统中同步数据修复的系统，包括：