[发明专利]一种数据处理方法及系统

说明书

本发明公开了一种数据处理方法及系统，其中数据处理方法包括：建立多个第一服务，每个第一服务包含多个微服务；获取第一任务请求数据，根据第一预设规则对每个第一任务请求数据进行分解得到多个第二任务请求数据；根据第二预设规则对每个第二任务请求数据进行分解得到对应的多个第三任务请求数据；根据第三预设规则对多个第三任务请求数据进行分组，生成多个任务队列；根据第一任务请求数据获取对应的第一服务，利用所述微服务对任务队列进行数据处理。本发明提供的数据处理方法及系统，能够实现接口服务任务的动态分解及并行处理，提高批量接口数据的处理效率，同时，能增强接口服务配置的灵活性，减少额外资源的开销。

技术领域

本发明涉及电网数据处理技术领域，尤其是涉及一种数据处理方法及系统。

背景技术

配电网作为电力系统中直接面向用户的终端环节，占据着十分重要的地位。近年来，随着智能电网的建设，电力系统运营侧通过智能监测终端设备，实现对设备进行运行、监控、管理，如在负荷侧，通过使用智能监测终端，实现电力系统状态参数的实时记录。通过对设备运行状态数据进行分析，能够有效的提升电网精益化管理的水平，如根据配电网的特点，以负荷特性、负荷分布等基本特征为基础，进行配电网设备运行效率的评价，能够提高配电网建设投资效益。

配电网设备运行效率监测分析，需要融合多业务系统数据，包括配网生产系统、营销管理系统、GIS系统、调度自动化系统、计量自动化系统等业务系统，包括配变、主变、高压线路、中压线路、用户等档案数据、运行维护数据、实时的量测数据等。为了满足配电网设备运行效率的监测分析的需求，通过批量的接口服务从不同的业务系统同步设备档案变更信息及设备运维信息(频率：每天)，同步设备的实时运行数据(频率：配变每15分钟一次，主变、中压线路、高压线路，每5分钟一次)。目前，接口服务应用的部署一般采用单体架构，通常将整个接口服务作为一个整体部署在同一个Web容器，程序模块间的耦合性较强，由于存在实时及非实时的数据同步，接口服务访问量较大、资源消耗较大、耗时较长，同时，批量的接口服务程序在Web容器中处理，无法结合各个接口服务的数据传输量、接口运行情况进行动态、智能地接口调用，转换服务器硬件资源等，容易造成占用大量系统资源，接口服务任务的堵塞等问题，接口处理效率低下，影响系统的日常应用。

如何解决现有技术中批量接口数据的处理效率较低、接口服务配置灵活性不够的问题，是当前需要解决的问题。

发明内容

本发明的目的是提供一种数据处理方法及系统，以解决现有技术中批量接口数据的处理效率较低、接口服务配置灵活性不够的问题。

本发明的目的，可以通过如下技术方案实现：

一种数据处理方法，包括：

建立多个第一服务；其中，每个所述第一服务包含多个微服务；

获取第一任务请求数据，根据第一预设规则对每个所述第一任务请求数据进行分解，得到对应的多个第二任务请求数据；

根据第二预设规则对每个所述第二任务请求数据进行分解，得到对应的多个第三任务请求数据；

根据第三预设规则对多个所述第三任务请求数据进行分组，生成多个任务队列；

根据所述第一任务请求数据获取对应的所述第一服务，利用所述微服务对所述任务队列进行数据处理。

可选地，所述建立多个第一服务之后还包括：对每个所述第一服务建立多个第二服务；其中，每个所述第二服务包含多个微服务。

可选地，所述根据第一预设规则对所述第一任务请求数据进行分解进一步包括：根据与所述第一任务请求数据对应的数据获取区域、数据对象、数据类型及数据传输速度对每个所述第一任务请求数据进行分解。