[发明专利]一种大数据技术体系下实现高态势感知能力的方法

说明书

本发明公开了一种大数据技术体系下实现高态势感知能力的方法，通过在Drvier进程中启动服务实例NettyServer，实例对应的IP和端口注册到ZooKeeper集群中；前端UI将所需动态感知的大数据计算任务的唯一标识ID通过WebSocket连接发送到WEB容器，容器中对应于WebSocket通信的Handler对象，根据计算任务ID从ZooKeeper集群中获得IP和端口连接参数，创建Netty客户端实例与NettyServer之间建立基于TCP的双向的NIO连接；从而建立了一条双向的通信链路，可实时拉取或推送任务执行反馈信息或干预任务执行。

技术领域

本发明涉及一种大数据技术体系下实现高态势感知能力的方法。

背景技术

网络态势是指由各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。网络态势感知(Cyberspace Situation Awareness，CSA)是1999年Tim Bass首次提出的，网络态势感知是在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及预测最近的发展趋势。

目前主流的大数据并行计算，并行计算是将一个任务分解成若干个小任务并协同执行以完成求解的过程，是增强复杂问题解决能力和提升性能的有效途径。并行计算可以通过多种途径实现，包括多进程、多线程以及其他多种方式，以Spark框架为例，通常由一个主进程Driver和若干个工作进程Worker；其中Driver部分负责针对Worker组合的任务计划调度和状态监控，Worker中负责主要的计算任务并向Driver给以状态或结果反馈。可充分和更加高效地利用多核计算资源，从而降低单个问题的求解时间，节省成本，也能够满足更大规模或更高精度要求的问题求解需求。但是，对于实时拉取或推送任务执行反馈信息或干预任务执行，目前还无法实现。因此，研究出一种能够实现实时拉取或推送任务执行反馈信息或干预任务执行的通信链接方式是目前需要解决的重要问题之一。

发明内容

发明目的：本发明的目的是提供一种可实时拉取或推送任务执行反馈信息或干预任务执行的大数据技术体系下实现高态势感知能力的方法。

技术方案：为了实现以上目的，一种大数据技术体系下实现高态势感知能力的方法，包括以下步骤：

(1)在Drvier进程中启动基于Netty的服务实例NettyServer，并将所述实例对应的IP和端口注册到ZooKeeper集群中；

(2)在NettyServer中处理各种服务请求并原路返回请求响应；

(3)前端UI建立和大数据计算集群中的Web容器之间建立一个基于TCP的双向通信WebSocket连接；

(4)用户在前端UI将所需动态感知的大数据计算任务的唯一标识ID通过WebSocket连接发送到WEB容器；

(5)WEB容器中对应于WebSocket通信的Handler对象，根据计算任务ID从ZooKeeper集群中获得IP和端口连接参数，创建Netty客户端实例与NettyServer之间建立基于TCP的双向的NIO连接；

(6)Drvier从NettyServer途经NettyClient、Nginx到用户的前端UI之间建立双向的通信链路；用户在前端UI上与Drvier双向通信。

包含多个前端UI实例发起的对于同一个计算任务的动态感知能力。

所述的NettyServer主动推送的信息通过广播形式传达至每个前端UI。

步骤(7)所述的用户前端UI上与Drvier双向通信，包括在前端UI显示由NettyServer主动推送来的当前任务执行细节。

步骤(7)所述的用户前端UI上与Drvier双向通信，包括用户通过前端UI向计算任务的Driver发送指令。