[发明专利]文件同步的方法、系统及设备

说明书

技术领域

本发明涉及数据处理技术，尤其涉及文件同步的方法、系统及设备。

背景技术

各个源服务器产生文件数据后，需要将文件数据大规模的传输给目的服务器，由目的服务器对文件数据进行集中处理，获得需要的信息。所述文件数据可具体为用户对网页上各展示内容的浏览记录，所述展示内容例如为网页上的新闻信息、体育信息、广告信息等。

源服务器将文件数据传输目的服务器，以及目的服务器对写入的文件数据进行处理的过程，为文件同步的过程。下面对该过程进行详细说明：目的服务器包括目的数据源接收单元和数据处理单元；源服务器按照现有的传输机制将产生的文件数据传输给目的数据源接收单元，目的数据源接收单元接收源服务器传输的文件数据，存储文件数据，并生成传输日志，该传输日志包含写入的文件数据的文件名以及相应的写入时间点等信息；数据处理单元从目的数据源接收单元读取文件数据，进行数据处理，且删除目的数据源接收单元中存储的相应文件数据。

为了对目的数据源接收单元中已经处理的文件数据和还未处理的文件数据进行区别，数据处理单元从目的数据源接收单元读取文件数据后，便删除目的数据源接收单元中存储的相应文件数据。按照现有的传输机制，在数据传输过程中，源服务器将目的数据源接收单元中存储的数据与源服务器自身存储的数据进行比较，判断目的数据源接收单元中是否存储了源服务器中的所有文件数据，如果不是，则将目的数据源接收单元中未存储的部分传输给目的数据源接收单元。由于数据处理单元进行数据处理后将删除目的数据源接收单元中存储的相应文件数据，这将导致源服务器重复地向目的数据源接收单元写入文件数据，引起读写冲突。

为了对目的数据源接收单元中已经处理的文件数据和还未处理的文件数据进行区别，也可采用对数据处理单元已经处理的文件数据进行实时记录的方式，但这种方式的工作量太大，且记录的数据量很大，一般不采用，而较多采用进行数据处理后删除目的数据源接收单元中的文件数据的方式，但这种方式存在读写冲突的缺陷。

发明内容

本发明提供了一种文件同步的方法，该方法能够避免文件同步时的读写冲突。

本发明提供了一种文件同步的系统，该系统能够避免文件同步时的读写冲突。

本发明提供了一种文件同步的设备，该设备能够避免文件同步时的读写冲突。

一种文件同步的方法，该方法包括：

目的数据源接收单元接收源服务器传输的文件数据，存储文件数据，并生成传输日志；

目的数据源拷贝单元从传输日志中获取已接收的文件数据的文件名，拷贝目的数据源接收单元中存储的相应文件数据，进行存储；

数据处理单元从目的数据源拷贝单元读取文件数据，进行数据处理。

一种文件同步的系统，该系统包括源服务器和目的服务器，所述目的服务器包括目的数据源接收单元、目的数据源拷贝单元和数据处理单元；

所述源服务器，用于向所述目的数据源接收单元传输文件数据；

所述目的数据源接收单元，用于接收所述源服务器传输的文件数据，存储文件数据，并生成传输日志；

所述目的数据源拷贝单元，用于从所述传输日志中获取已接收的文件数据的文件名，拷贝目的数据源接收单元中存储的相应文件数据，进行存储；

所述数据处理单元，用于从目的数据源拷贝单元读取文件数据，进行数据处理。

一种文件同步的设备，该设备包括目的数据源存储单元、目的数据源拷贝单元和处理单元；

所述目的数据源接收单元，用于接收源服务器传输的文件数据，存储文件数据，并生成传输日志；

所述目的数据源拷贝单元，用于从所述传输日志中获取已接收的文件数据的文件名，拷贝目的数据源接收单元中存储的相应文件数据，进行存储；

所述数据处理单元，用于从目的数据源拷贝单元读取文件数据，进行数据处理。

从上述方案可以看出，本发明中，将目的数据源接收单元接收的文件数据拷贝到目的数据数据源拷贝单元中，数据处理单元再从目的数据源拷贝单元读取文件数据，进行处理。这样，无需从目的数据源接收单元读取文件数据进行处理，就不必对目的数据源接收单元存储的文件数据进行删除，从而，避免了文件同步时的读写冲突。

附图说明

图1为本发明文件同步的系统结构示意图；

图2为本发明文件同步的方法示意性流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。