[发明专利]基于大数据分析的网络负载均衡方法和装置

说明书

本发明公开了基于大数据分析的网络负载均衡方法和装置，主要包括数据分析挖掘装置，网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据分析与挖掘装置和数据资源分配装置相连。网络负载均衡处理装置中包含数据处理层、数据调度层、数据迁移层；数据分析与挖掘装置中包含大数据接口、数据分析层、数据挖掘层和大数据存储单元；数据资源分配装置包含数据资源监控和数据资源分配。本发明适用于大数据网络资源环境下的资源调度问题，寻求高效调度策略，对于增强大数据网络资源利用率以及负载均衡具有重要作用。

技术领域

本发明涉及移动通信技术，尤其是涉及一种基于大数据分析的网络负载均衡方法和装置。

背景技术

近几年，随着互联网网络规模不断扩大，网络数据交互也更加广泛。大量互联网数据整合和数据汇聚现象，使数据处理应用量和需求量呈井喷式爆发，互联网所要分析或处理的业务量也日益繁重。针对于海量数据服务，如何将这些数据进行有效均衡调配，为网络用户提供方便快捷的网络搜索服务，成为互联网当前所面临的重要问题。大数据网络资源环境下的资源调度问题，寻求高效调度策略，对于增强大数据网络资源利用率以及网络负载均衡具有重要作用。

发明内容

本发明要解决的技术问题是提供一种基于大数据分析的网络负载均衡方法和装置，该装置主要解决了大数据网络虚拟资源与物理资源的均衡调度，确保大数据网络的负载均衡。该装置也为未来网络发展提供有效分析，提前做好网络资源的均衡调整分配，确保未来大数据网络的负载均衡。

为了解决现有技术存在的问题，本发明采用的技术方案是：

基于大数据分析的网络负载均衡装置，包括有数据分析挖掘装置、网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据分析挖掘装置和数据资源分配装置通过通信电缆相连，数据分析挖掘装置通过通信电缆与用户相连，数据资源分配装置通过通信电缆与服务器相连；所述的网络负载均衡处理装置主要包括数据处理层、数据调度层和数据迁移层；所述的数据分析挖掘装置中包含大数据接口、数据分析层、数据挖掘层和大数据存储装置；所述的数据资源分配装置包含数据资源监控和数据资源分配。

所述的数据处理层与数据调度层通过数据电缆相连，数据调度层与数据迁移层通过数据电缆相连；所述的大数据接口、数据分析层、数据挖掘层和大数据存储装置通过数据电缆相连；所述的数据资源监控和数据资源分配是通过通信电缆相连。

所述数据处理层将不同类型的数据源水平扩展成分布式数据源；数据调度层使用MapReduce框架作为分布式程序的基础，使用YARM精确控制数据迁移使用的资源；数据迁移层使用分布式文件存储系统将目标集群虚拟为一个整体存储系统。

所述大数据接口类型包括有数据库接口、文件接口、消息接口和搜索查询接口；数据分析层主要是对收集上来的数据首先按照文件类型进行划分，再次再按照文件大小、文件内容进行分析整理；数据挖掘层将数据分析层分析整理的数据通过统计方法、事例推理、决策树、规则推理、模糊集、神经网络、遗传算法的方法进行处理，得出有用的分析信息；并将分析信息存储到大数据存储中或通过通信电缆发送给网络负载均衡处理装置，网络负载均衡处理装置通过接收到的分析信息和数据，对比现阶段网络状况，根据对比结果调整网络资源，达到网络均衡的目的。

所述数据资源监控起到监督、视察的作用，主要监控大数据网络里的物理机和虚拟机的资源使用情形和运营状况，主要包括网络的通信状况、实时监控、告警信息；对所有收集到的数据信息逐一研究，以便于指导负载均衡调节；数据资源分配主要是通过网络负载均衡处理装置提供的用户信息分置到各用户的虚拟机和服务器上，实现大数据网络负载的均衡；资源分配方法有虚拟机分配和手动分配两种。

所述通信电缆是数字通信电缆或高速通信电缆。

所述数据电缆是COM口数据电缆或USB口数据电缆。

基于大数据分析的网络负载均衡装置的均衡方法，包括以下步骤：