[发明专利]一种基于大数据的处理方法、系统及服务器平台

说明书

本发明公开了一种基于大数据的处理方法、系统及服务器平台，该方法包括S1、接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理；S2、实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较；S3、若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照负荷阈值调整规则调高负荷阈值一次；若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于大数据的处理方法、系统及服务器平台。

背景技术

传统的大数据处理模式是，来一个数据就随机分发至服务器中的某一子服务器处理，这样至少会带来两个问题：①个别的子服务器的运行负荷一直较高，即基本满负荷运行，如此一方面会导致个别的子服务器的使用寿命较低，另一方面会导致数据处理遇到拥堵，影响数据处理效率；②所有子服务器已经满负荷运行处理了，但是新的数据处理任务仍然会被分发至子服务器，这样严重加重了子服务器的处理负担，进而导致数据处理缓慢甚至崩机。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种基于大数据的处理方法、系统及服务器平台，以克服现有技术中数据处理模式不合理导致数据处理缓慢的缺陷。

根据本发明，提供了一种基于大数据的处理方法，包括：

S1、接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理；

S2、实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较；

S3、若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照负荷阈值调整规则调高负荷阈值一次；若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值。

进一步地，所述数据分发规则包括：按照若干子服务器的编号顺序分发数据，每次数据分给一个子服务器，下次数据分给下一个子服务器，而且在分发前判断当前子服务器的运行负荷率，若是当前子服务器的运行负荷率超过负荷阈值，则跳过当前子服务器。

进一步地，所述数据分发规则还包括：若当前子服务器为最后的一个子服务器，则当前子服务器的下一个子服务器是最开始的一个子服务器。

进一步地，所述负荷阈值介于30%-100%，负荷阈值的初始值为30%。

进一步地，所述阈值调整规则为每次将负荷阈值增加10%。

又提供了一种基于大数据的处理系统，包括：

数据分发单元，用于接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理；

监测单元，用于实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较；

调整单元，用于若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照阈值调整规则调高负荷阈值；若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值。

进一步地，所述调整单元包括：

若干第一计数模块，对应若干子服务器，用于子服务器的运行负荷率在第一预设时间段内超过负荷阈值一次时，记录该子服务器超过负荷阈值一次；

第二计数模块，用于所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值一次时计数加1；