[发明专利]基于大数据分析的网络负载均衡方法和装置

权利要求书

1.基于大数据分析的网络负载均衡装置，其特征在于：包括有数据分析挖掘装置、网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据分析挖掘装置和数据资源分配装置通过通信电缆相连，数据分析挖掘装置通过通信电缆与用户相连，数据资源分配装置通过通信电缆与服务器相连；所述的网络负载均衡处理装置主要包括数据处理层、数据调度层和数据迁移层；所述的数据分析挖掘装置中包含大数据接口、数据分析层、数据挖掘层和大数据存储装置；所述的数据资源分配装置包含数据资源监控和数据资源分配。

2.根据权利要求1所述的基于大数据分析的网络负载均衡装置，其特征在于：所述的数据处理层与数据调度层通过数据电缆相连，数据调度层与数据迁移层通过数据电缆相连；所述的大数据接口、数据分析层、数据挖掘层和大数据存储装置通过数据电缆相连；所述的数据资源监控和数据资源分配是通过通信电缆相连。

3.根据权利要求1所述的基于大数据分析的网络负载均衡装置，其特征在于：所述数据处理层将不同类型的数据源水平扩展成分布式数据源；数据调度层使用MapReduce框架作为分布式程序的基础，使用YARM精确控制数据迁移使用的资源；数据迁移层使用分布式文件存储系统将目标集群虚拟为一个整体存储系统。

4.根据权利要求1所述的基于大数据分析的网络负载均衡装置，其特征在于：所述大数据接口类型包括有数据库接口、文件接口、消息接口和搜索查询接口；数据分析层主要是对收集上来的数据首先按照文件类型进行划分，再次再按照文件大小、文件内容进行分析整理；数据挖掘层将数据分析层分析整理的数据通过统计方法、事例推理、决策树、规则推理、模糊集、神经网络、遗传算法的方法进行处理，得出有用的分析信息；并将分析信息存储到大数据存储中或通过通信电缆发送给网络负载均衡处理装置，网络负载均衡处理装置通过接收到的分析信息和数据，对比现阶段网络状况，根据对比结果调整网络资源，达到网络均衡的目的。

5.根据权利要求1所述的基于大数据分析的网络负载均衡装置，其特征在于：所述数据资源监控起到监督、视察的作用，主要监控大数据网络里的物理机和虚拟机的资源使用情形和运营状况，主要包括网络的通信状况、实时监控、告警信息；对所有收集到的数据信息逐一研究，以便于指导负载均衡调节；数据资源分配主要是通过网络负载均衡处理装置提供的用户信息分置到各用户的虚拟机和服务器上，实现大数据网络负载的均衡；资源分配方法有虚拟机分配和手动分配两种。

6.根据权利要求1或2所述的基于大数据分析的网络负载均衡装置，其特征在于：所述通信电缆是数字通信电缆或高速通信电缆。

7.根据权利要求2所述的基于大数据分析的网络负载均衡装置，其特征在于：所述数据电缆是COM口数据电缆或USB口数据电缆。

8.根据权利要求1所述的基于大数据分析的网络负载均衡装置的均衡方法，其特征在于，包括以下步骤：

针对在闲置资源较多的环境中能够有效提高性能情况下，在数据处理层和数据迁移层内部进行数据移动以充分利用闲置资源，从数据角度避免访问热点；在数据调度层设计实现负载均衡的迁移策略，从数据调度避免对同一块数据的热点访问；通过间接迁移技术用来实现集群内部的负载均衡，并通过使用Sharding技术对数据处理层和数据迁移层的优化，直接保证数据的均衡分布，为高效率的数据迁移提供保证。

9.根据权利要求1所述的基于大数据分析的网络负载均衡装置的均衡方法，其特征在于包括以下步骤：

通过基于能量大小评判的调度方法，对网络中的资源进行均衡调度；基于能量评判的网络均衡调度模型中的资源节点和网络任务间的相关参数为：

集合[A={a1，a2，…，an}]用于描述n个不同资源点所组成的网络情况；

集合[P={p1，p2，…，pm}]用于描述完成m个网络下发任务；

设置[MPij]描述资源点[aj]实施任务[pi]所花费的时间；

[lj]用于描述资源点[aj]的初始能量值；

[Mj]用于描述特定时间里资源点[aj]完成任务要花费的能量；

[Dj]用于描述一定时间里资源点[aj]获取数据的耗能量；

[BWj]用于描述资源点[aj]的网络带宽大小；

网络数据调度模型的耗能是指：任务[pi]通过资源[aj]的本地计算耗能量[MMDij]与完成任务时间[MPij]和耗能量率有着紧密的联系，如下式（1）所示：

[MMDij=MPij·Mj] （1）

任务[pi]利用网络沟通的思维来考虑资源[aj]里沟通的耗能量[DMDij]，将单元数据量的网络传递时间界定成网络带宽[BWj]的最后一位数，如果任务传递的数据量为[Hi]，网络沟通耗能量如式（2）所示：

[DMDij=Hi⋅（1BWj）⋅Dj] （2）

[MDij]表示测量网络任务匹配到网络资源中的耗能量，有：

[MDij=MMDij+DMDij] （3）

式（3）中的耗能量值[MDij]是一个资源[aj]在调度里的耗能量状态，但模型应考虑总体调度环境，完成能量的改进；所以需要增加一个衡量数值[ECavg]，[ECavg]用于描述全部网络资源的平均耗能量率，同时也是调度计算耗能量的衡量规范；[ECavg]值同调度能耗具有正相关性，[ECavg]的表达式如下：

[ECavg=j=0n-1（MDijLj）n， aj∈A] （4）

基于能量评判的大数据网络均衡调度的具体步骤为：

（1）将大数据网络资源调度任务集P里的全部任务，映射到资源节点集A中的全部资源点上，通过数据处理层计算出全部相匹配的代价值[Cost（i，j）]；

（2）数据处理层设置大数据网络资源集里的全部资源节点状态为未标记；

（3）随意提取大数据网络资源调度任务集中的1个任务[pi]，将其映射到代价值[Cost（i，j）]中最小的资源节点[aj]上，同时计算出[Cost（i，j）]值，这个值表示最小代价；

（4）获取映射值，它的含义是当把大数据网络资源调度任务，映射到[aj]以外的任意资源节点的过程，就会产生更多的能耗，映射值就是最小代价和第二小的代价间的差值；

（5）分析大数据网络资源点[aj]的标示状态：假设资源节点没有标示，在大数据网络资源调度任务集P里过滤任务[pi]，设置资源点[aj]为已标记；假设资源点是标记状态，对比待映射到资源节点[aj]中的任务帐和任务[pi]映射值，如果[aj]的映射值较小，那么要把帐再次返还到任务集P里，并把[pi]映射到[aj]中，在任务集P里过滤[pi]；

（6）循环运行过程（3）～过程（5），直到不能将新大数据网络资源调度任务支配出去；

（7）被支配的新大数据网络资源调度任务资源点的准备时间[Di]与资源结余能量值，在当前迭代中完成实时调整；

（8）循环运行过程（2）～过程（7），数据调度层和数据迁移层进行数次迭代，一直到任务集里的全部任务都完成，并计算[ECavg]的数值，通过调控[ECavg]值，实现大数据网络负载的控制，确保大数据网络负载均衡。