[发明专利]一种文件排重的方法与系统

说明书

技术领域

本发明涉及一种文件排重的方法与系统，属于网络通信领域。

背景技术

存储文件对于计算机网络而言是很重要的，通过将有用的文件存储在存储空间内，从而用户可以对其进行访问并浏览。随着社会的发展，需要存储的有用文件越来越多，对存储空间的需求也越来越大，因此一种有效的方法就是对所要存储的文件进行排重，即检测存储空间内是否包含所要存储的文件，如果有，则不对该文件进行存储，如果没有，则存储。

但是现有技术中，是通过采用比较用户所要存储的文件的内容和存储空间内的文件内容的方式来进行排重的，导致排重效率非常低，并且比较文件的内容需要耗费服务器大量的资源，尤其是内容比较多占用空间比较大的文件，从而造成服务器资源的严重浪费。

发明内容

本发明的目的在于，提供一种文件排重的方法与系统，它可以提高文件排重的效率，并且大量节约服务器资源。

为解决上述技术问题，本发明采用如下的技术方案：一种文件排重的方法，包括以下步骤：

S1，客户端根据文件内容生成唯一的文件标识信息；

S2，将所生成的文件标识信息发送给应用服务器；

S3，应用服务器检测数据库服务器中是否存有该文件标识信息；

S4，应用服务器反馈检测结果信息。

前述的一种文件排重的方法中，所述方法还包括：抓取服务器根据文件内容生成唯一的文件标识信息，从而方便判断抓取服务器所抓取的文件是否是有用的文件。

前述的一种文件排重的方法中，所述方法还包括：存储文件后，提交该文件的文件标识信息给应用服务器，保证了应用服务器准确的存储文件标识信息，避免将没有存储的文件的标识信息存入数据库服务器中。

前述的一种文件排重的方法中，步骤S3所述的数据库服务器只存储文件标识信息，从而方便应用服务器进行检测比较文件标识信息。

实现前述方法的一种文件排重的系统，它包括：

标识信息生成模块一，用于客户端根据文件内容生成唯一的文件标识信息；

标识信息发送模块，用于将所生成的文件标识信息发送给应用服务器；

检测模块，用于应用服务器检测数据库服务器中是否存有该文件标识信息；

信息反馈模块，用于应用服务器反馈检测结果信息。

前述的一种文件排重的系统中，还包括：

标识信息生成模块二，用于抓取服务器根据文件内容生成唯一的文件标识信息，从而方便判断抓取服务器所抓取的文件是否是有用的文件。

前述的一种文件排重的系统中，还包括：

标识信息提交模块，用于存储文件后，提交该文件的文件标识信息给应用服务器，保证了应用服务器准确的存储文件标识信息，避免将没有存储的文件的标识信息存入数据库服务器中。

与现有技术相比，本发明通过利用标识信息生成模块一根据文件的内容生成相应的文件标识信息，再利用标识信息发送模块发送所生成的标识信息到应用服务器，应用服务器利用检测模块检测数据库服务器中是否存在相同的文件标识信息，从而根据检测结果完成文件排重操作，在排重时，只需比较数据库服务器中的文件标识信息与用户所要存储文件的文件标识信息，而不需比较文件冗长的内容，而且文件标识信息比较简短，因此大大提高了文件排重的效率，也大大的节约了服务器的资源。据大量数据统计表明，采用本发明后，进行文件排重的效率提高了30％。其次，本发明利用标识信息生成模块二使得抓取服务器根据文件内容生成唯一的文件标识信息，从而方便判断抓取服务器所抓取的文件是否是有用的文件。最后，本发明利用标识信息提交模块在存储文件后，提交该文件的文件标识信息给应用服务器，从而保证了应用服务器准确的存储文件标识信息，避免将没有存储的文件的标识信息存入数据库服务器中。

附图说明

图1是本发明的一种实施例的结构示意图；

图2是本发明的一种实施例的工作流程图。

附图标记：1-标识信息生成模块一，2-标识信息发送模块，3-检测模块，4-信息反馈模块，5-标识信息生成模块二，6-标识信息提交模块。

下面结合附图和具体实施方式对本发明作进一步的说明。

具体实施方式

本发明的实施例：一种文件排重的方法，包括以下步骤：

S1，客户端根据文件内容生成唯一的文件标识信息；

S2，将所生成的文件标识信息发送给应用服务器；

S3，应用服务器检测数据库服务器中是否存有该文件标识信息；

S4，应用服务器反馈检测结果信息。