[发明专利]穿越隔离墙多系统大数据抽取汇集方法

权利要求书

1.穿越隔离墙多系统大数据抽取汇集方法，其特征在于在三区部署了一键巡视组件、在一区部署采集引擎和隔离墙通讯组件Ⅰ；一键巡视组件用于对三、四区管理对象直接监控，一键巡视组件包含有三区服务器及位于三区服务器中的隔离墙通讯组件Ⅱ，隔离墙通讯组件Ⅰ位于一区服务器中，采集引擎与隔离墙通讯组件Ⅰ之间可进行通信连接，隔离墙通讯组件Ⅰ与隔离墙通讯组件Ⅱ之间连接有正向隔离墙及反向隔离墙，隔离墙通讯组件Ⅱ连接DGO，DGO连接上层组件以及APP；

所述采集引擎是是安全I区部署的采集服务器，负责采集、接收来自安全I区的设备信息、事件、告警和SYSLOG系统日志，安全I区采集数据库存放监控的任务信息、监控设备的必要状态信息，这些信息作为安全I区采集服务器向安全III区传递数据时的比对参考，安全I区的采集服务器将监控采集的数据通过安全I区传输代理以文件方式传递到安全III区，再由安全III区传输代理接收并转发到安全III区采集服务器本地指定目录，安全III区采集服务器除了负责采集、接收来自安全III区的设备信息、事件、告警和SYSLOG系统日志外，还负责将传输代理转发的安全I区监控数据存入统一信息库，安全III区应用服务器负责将来自统一信息库的数据和安全III区采集服务器通过消息总线推送的数据分析和处理后统一展现在Web客户端；

所述穿越隔离墙多系统大数据抽取汇集方法包含有以下数据框架：数据采集、数据解析、算法分析，其中，

数据采集中通过Shell/Perl script脚本命令以及与MySQL数据库对接程序从EMS、OMS、TMR系统跨区多系统采集数据；其中，SSH文本结果对通过终端输入命令的反馈结果进行采集并解析，实现以下巡检功能：(a)资源状态、核心应用巡查；(b)报表发布核查；(c)III区堆积文件查看；(d)省地互联重要数据检查； (e)重要接口巡查中的状态切换接口配置检查；(f)重要接口进程巡查；(g)PING重要接口进程IP巡查；(h)清理core文件；Oracle通过调用数据库数据，采用深度搜索方法，系统自动判断相关输出的阈值，并提供明晰易读的报表输出和有效的预警提示方式，包含以下的数据比对：(a)地区功率总加核查；(b)母线不平衡巡视；(c)220KV潮流图核查；(d)220KV遥信分合闸查询；(e)状态估计计算是否收敛；(f)厂站通道退投情况检查；(g)重要接口巡查：(g1)设备重/轻载接口配置,(g2)电能质量接口配置，（g3）峰谷平潮流接口配置；(h)主变运行挡位；(i)主变有功越限；(j)主变油温越限；(k)线路电流越限；(l)重要断面越限；(m)频发信息统计；(n)危急信号统计；(o)开关及刀闸位置；(p)置牌信息管理；(q)电网异常运行方式；FTP转发省调CIME文件状态监视，通过FTP协议自动周期巡检，获取省公司文件服务器上的文件列表，自动发现地调传输失败的文件，给出告警，同时自动重传文件；网页爬取提取电力通信网络中的相关调度数据；

数据解析中，对于oracle数据库数据源，（1）通过基于c语言的Oracle DB库连接oracle官方提供的驱动程序instant basic 12,运行预先调研的sql语句返回文本形式的查询结果，然后通过传统的scanf进行解析，最终结构化为json数据格式；（2）对于ssh文本结果数据源，通过ssh2-utils库进行调用，由于获取到的数据编码为GBK中文编码，因此必须在开始的时候保留读取到的二进制数据流，然后利用iconv编码库对二进制流进行转码，获得转码后的二进制流，进而转换为utf8编码的字符串格式，然后同样使用scanf进行解析,基于空格的解析转换为json数据格式；（3）对于网页爬取形式的数据源，首先通过Axios获取到http格式源码，然后使用Temme库对获取的xml数据进行解析，最后取出有效数据，组装成json数据格式；（4）对于FTP数据源使用Ftpmp库进行socket连接及获取列表操作，然后使用scanf解析成数组保存成json数据格式；

算法分析中，在将数据源的数据统一整合为json数据格式后，根据业务需求对多个数据源进行计算，使用map及recude数据处理工具对数据进行分析，

所述穿越隔离墙多系统大数据抽取汇集方法包含有以下步骤：

（1）I区系统将即时取数请求转换为E文本格式，通过HTTP协议向三隔离墙通讯组件I发起请求，挂起连接；

（2）隔离墙通讯组件I通过反向隔离墙下发请求转换后的E文本文件；

（3）Ⅲ区隔离墙通讯组件II从指定路径读取E文本格式文本后转换成可驱使隔离墙采集引擎工作的数据；

（4）Ⅲ区隔离墙通讯组件II根据接收到的工作数据通过HTTP向采集引擎发起请求；

（5）采集引擎响应请求给Ⅲ区隔离墙通讯组件II；

（6）Ⅲ区隔离墙通讯组件II通过正向隔离装置上传请求结果；

（7）I区隔离墙通讯组件I从指定的目录解压缩并读取数据；

（8）I区隔离墙通讯组件I响应请求结果给数据传输服务器，关闭连接。

2.根据权利要求1所述的穿越隔离墙多系统大数据抽取汇集方法，其特征在于隔离墙通讯组件I及隔离墙通讯组件II都是：反向型物理隔离装置的通讯软件是stonewall-2000反向型网络安全隔离设备专用文件传输软件，版本5.0.3S。