[发明专利]一种基于大数据技术的电力数据分析方法和装置

说明书

本发明公开了一种基于大数据技术的电力数据分析方法和装置，通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；将指标数据进行发布，根据展示要求从数据库中查询后展示。本发明基于大数据技术对电力数据进行分类识别和存储显示，数据采集准确以及可以根据场景快速切换显示，采用了差异化存储方法，对待存储的数据全量的存储在多台缓存服务器中，这样就不会造成单个服务器宕机而影响计算的情况。

技术领域

本发明涉及数据分析技术领域，具体涉及一种基于大数据技术的电力数据分析方法和装置。

背景技术

区域战略经营驾驶舱实时反映企业的整体运行状态，为公司提供实时、可靠、准确的数据分析，为经营管理、科学决策提供有力的支持，进而能准确、及时的把握和调整企业发展方向，促进公司的高效发展，提升公司的经济效益和竞争力。驾驶舱的建设以合理开发利用网络和信息资源为目标，对集团公司有关信息资源和区域公司本部现有各应用系统进行有机整合，并增加公司安全生产、战略规划、财务资产、燃料物资和市场营销等方面所需功能，建设覆盖区域公司全部业务的统一信息平台，实现区域公司各系统之间的业务数据共享，为区域公司及所属单位高效管理和科学决策提供强有力的信息支持，促进区域公司系统管理流程优化和管理效率的提升。

随着各区域公司信息系统的数量逐渐增多，数据量也随之增大。受数据采集的限制，无法保证数据准确性、一致性，导致驾驶舱数据分析不准确，无法为企业管理者提供准确的决策支持。

为了及时把控企业经营和运转情况，企业管理者往往需要对不同的业务数据进行综合分析形成相应业务场景，但业务数据往往带有较强的专业性。传统技术限于业务场景处理能力，场景切换速度慢，无法快速响应企业管理者的需求。

发明内容

为解决现有技术中的不足，本发明提供一种基于大数据技术的电力数据分析方法和装置，解决了数据采集不准确、不一致以及无法提供场景快速切换的问题。

为了实现上述目标，本发明采用如下技术方案：一种基于大数据技术的电力数据分析方法，

通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；

对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；

将指标数据进行发布，根据展示要求从数据库中查询后展示。

进一步的，所述电力数据来源为区域内部电力系统和中调网站发布的电力数据。

进一步的，所述通过多路复杂链路方法采集区域内的电力数据，包括：

设置数据获取配置，数据获取配置的内容包括数据种类、数据请求地址、数据请求地址的协议类型、数据地址加载顺序请求频度表达式；

将所述数据获取配置作为采集配置信息注册到分布式协调器Zookeeper集群中；

从Zookeeper集群中获取采集配置信息，根据采集配置信息中的数据请求地址的协议类型建立不同的采集通道，根据配置中的数据请求地址、请求频度表达式、数据地址加载顺序创建采集任务，将相同的协议类型的采集任务分配到相同的采集通道中运行，采集任务运行并获取到数据后，通过采集通道返回。

进一步的，所述预处理后得到电力原始数据进行存储，存储采用方法为：

实时数据存储采用Redis数据库，非实时数据采用大数据Hadoop和Hbase体系进行存储，大数据存储时将数据索引到Elastic Search中；

对于保存到Redis数据库中的实时数据设置数据的有效期，到期后数据自动清除，如果Redis中的数据被访问，该数据的有效期自动延长。