[发明专利]一种调度运行数据自动采集报送管理系统

说明书

本发明公开了一种调度运行数据自动采集报送管理系统，在电力系统内网封闭情况下，在电脑用户权限较低的网络安全前提下通过python编程语言来实现对不同的系统间电网运行数据网页进行自动登录采集，在电脑指定位置抓取相关的历史数据，基于设定的电网报表规则进行电网运行数据汇总，并将提取到的电网运行数据使用Beautiful Soup对爬取的信息进行处理；将汇总报表中的数据按设定的各种逻辑与历史数据库中的历史数据进行交互运算；判断数据的合理性，检查无误后再自动上报相关的系统，本发明解决了电力调度数据都需要调度员登录不同系统去抄录采集并整理成报表上报省中调，数据来源多样性，各类系统的数据单位及数据生成时间不一致，数据整理浪费时间和人力并且准确率不高和数据处理方法缺乏的技术问题。

技术领域

本发明涉及数据处理技术领域，具体为在电网内网环境运行的一种调度运行数据自动采集报送管理系统。

背景技术

每日凌晨，省级调度运行管理部门都需要收集各地区上一日电网运行各项数据，核算运行数据及各项数据增长量，作为下日的运行风险参考值。

现有各地市级供电局都是多方数据收集后，人工计算并人工上传调度运行管理系统及实时OCS系统，存在效率低下、操作繁琐、数据量大等问题，采用传统方式的电力运行数据采集，需要登录多个不同系统，输入账号密码，电话接听后记录小水电运行数据。再进行计算分析比对，数据来源时间不一致，一个完整的分析流程大概要耗费45分钟以上，数据量大，效率低下，且人工抄录的错误率较高，已不能满足调度管理要求。

现常用的大部分网页数据采集工具能实现网页数据提取功能，但其存在以下弊端：

1 .在电力内网环境中，用户主机的权限有限制，无法直接应用现有已开发的数据抓取软件；

2 .普通的数据抓取软件数据无法进行进一步处理、对比和预警设置；

3 .数据来源的多样化，各渠道数据编码不一致，容易导致数据出错。

因此需要一种具备处理大量数据、易操作的方法解决这个痛点，本发明设计开发了一个报表软件，自动抓取数据并整理上报。调度员能从重复繁琐的工作中解脱出来，提高生产管理水平和工作效率。

发明内容

本发明的目的在于提供一种调度运行数据自动采集报送管理系统，以解决上述背景技术中提出现有的网页数据采集工具缺陷，通过开发一种数据提取分析方法的应用，在电力内网运行环境下，通过数据需求整理，也可对数据提取的查找范围和字段名进行改变，配合不同的分析需求抓取数据。程序应用和推广简单，适应性强。

为实现上述目的，本发明提供如下技术方案：一种调度运行数据自动采集报送管理系统，包括多平台数据抓取及存储模块，所述多平台数据抓取及存储模块用于爬取在各个网络平台的数据，基于设定的规则提取出所需的电网运行数据，并将提取到的电网运行数据导入指定数据库；

数据处理模块，所述数据处理模块通过提取出HTML或XML标签中的内容，对爬取的信息进行处理；

数据存储模块，所述数据存储模块将我们采集和处理后的数据存储到数据库所创建的表；

数据自动校核模块，所述数据自动校核模块通过数据库对每个数据设定公式或范围，采集和处理后的数据跟数据库中的历史数据进行交互运算比对，对于超出公式设定的异常数据通过颜色及闪烁提醒并生成报表；

数据人工校核模块，所述数据人工校核模块所述报表推送至上报系统草稿箱呈现给值班人员审核；

自动上报模块，所述自动上报模块将通过设定所述上报系统草稿箱停留时间，在指定上报系统草稿箱停留时间将所述报表定时上报提交数据。

优选的，所述多平台数据抓取及存储模块包括：

自动登录省公司电网运行系统，抓取潮州电网预测最大地区负荷；

自动登录省公司电网运行系统，抓取潮州电网网供指标；

自动导入指定位置的潮州电网运行日报表EXCEL；