[发明专利]基于计算机机群的智能并行蜂群算法数据系统

说明书

技术领域

本发明涉及的是一种基于计算机机群的智能并行蜂群算法数据系统。

背景技术

目前国内外的“大数据”应用，均集中在“MapReduce”算法本身的改善，缺乏“综合性”的全局改善方案，导致“大数据应用”需要依赖庞大的计算性能(同时间动用数百台、甚至数千台店脑集群)，并且非结构化的数据库类型，导致更多的计算瓶颈发生在“数据传输”过程的网络结构上，成千上万的节点(node)之间数据传输过程，几乎占据整个计算60％以上时间，使得目前“大数据应用”的性能，无法得到有效改善，并且需要耗费极为庞大的计算资源(包括电力、人力、管理)，仍无法有效普及。

目前大数据应用的计算，动则数百台、数千台、甚至上万台电脑集群系统才能执行计算，不仅成本非常之高、集成技术难度很大，管理成本也非一般企业所能承受。因此必须采用”高密度、高性能“的计算模式，才能解决计算资源浪费问题

由于大数据需处理的现有数据高达数百PB(每PB＝1,000,000GB)量级，并且每天以“数百TB(每TB＝1,000GB)”量级产生，而过程中估计有40％～60％的低效、无效数据需要过滤，目前业界缺乏有效的解决技术。

蜂群算法是近年来最有效的智能预测算法，但由于大量迭代计算，难以并行化处理，导致计算时间极大的瓶颈，需要改善。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种体积小，维护方便，安全可靠基于计算机机群的智能并行蜂群算法数据系统。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于计算机机群的智能并行蜂群算法数据系统，包括集群系统，所述集群系统连接有分散式Hbase分类器，所述分散式H base分类器连接有GPU高性能服务器，所述集群系统包括至少两个相互连接的智能网络优化处理系统，所述GPU高性能服务器连接有用于显示测试结果的显示屏。

在大数据应用中，首先将所有数据封包进行“网格化(Grid)”，快速分析封包数据密度进行优化，可过滤掉40％～60％无用的数据；

将分析过的数据进行分类、标签，提取特征后，并存入分散式Hbase数据库。

以上两个步骤是持续不断的循环工作(不断收集、不断处理)。改良式蜂群算法会根据条件主动从HBase数据库抓取数据，进行最优化选择的大量分析，最后根据“时间”、“空间”等条件给出智能化最优建议。

本发明体积小，维护方便，安全可靠；结合GPU Many-Cores强大计算性能，理论值能将原本120台Intel8核/3.2GHz CPU集群环境，用一台“不到20万的GPU高性能服务器”取代，并且空间只需原本的1/30、耗电量只有原本的1/20。将原本需要在计算节点之间透过网路传输的大量数据，如今全部在电脑内部透过PCIE进行数据高速交换，极大的改善数据传输瓶颈。

附图说明

图1为本发明的结构框图。

具体实施方式

下面结合附图和具体实施方式来详细说明本发明：

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图1，本具体实施方式采用以下技术方案：一种基于计算机机群的智能并行蜂群算法数据系统，包括集群系统，所述集群系统连接有分散式Hbase分类器，所述分散式Hbase分类器连接有GPU高性能服务器，所述集群系统包括至少两个相互连接的智能网络优化处理系统，所述GPU高性能服务器连接有用于显示测试结果的显示屏。

在大数据应用中，首先将所有数据封包进行“网格化(Grid)”，快速分析封包数据密度进行优化，可过滤掉40％～60％无用的数据

将分析过的数据进行分类、标签，提取特征后，并存入分散式Hbase数据库。

以上两个步骤是持续不断的循环工作(不断收集、不断处理)。

改良式蜂群算法会根据条件主动从HBase数据库抓取数据，进行最优化选择的大量分析，最后根据“时间”、“空间”等条件给出智能化最优建议。结合动态并行(Dynamic Parallelism)技术大幅减少，需计算的数据量。

在MapReduce算法上的改善，Google率先提出增量索引过滤器(Percolator for incremental indexing)和频繁变化数据集分析方式来提高性能，但由于这两种算法仍旧需要对不断快速增长的数据量、数据种类进行全量分析，每天计算量仍在数百T级别。