[发明专利]一种数据处理方法及其装置有效
申请号: | 201710393129.7 | 申请日: | 2017-05-27 |
公开(公告)号: | CN107241281B | 公开(公告)日: | 2020-01-14 |
发明(设计)人: | 朱亚东;张世琦;李盈麒;高荣富;周艳英 | 申请(专利权)人: | 上海东土远景工业科技有限公司 |
主分类号: | H04L12/863 | 分类号: | H04L12/863;H04L29/08 |
代理公司: | 11291 北京同达信恒知识产权代理有限公司 | 代理人: | 黄志华 |
地址: | 201203 上海市浦东*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 及其 装置 | ||
1.一种数据处理方法,该方法应用于能源云服务系统,所述能源云服务系统包括:多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群,其特征在于,该方法包括:
从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后,根据所述数据的属性信息,确定所述数据的数据类型;
若所述数据的数据类型为数据量数据,则将所述数据存储至数据队列中,所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群,所述数据量数据为实时监测数据;从空闲队列中获取数据处理进程标识信息,所述空闲队列用于存储处于空闲状态的数据处理进程的标识信息;根据所述进程标识信息,确定处于空闲状态的数据处理进程,并调度处于空闲状态的数据处理进程对所述数据队列中的数据进行处理后上报至所述云平台服务器集群,将正在处理所述数据队列中的数据量数据的数据处理进程的标识信息存储至繁忙队列中,所述繁忙队列用于存储处于工作状态的数据处理进程的标识信息;
若所述数据的数据类型为SOE数据,则将所述数据存储至专用队列中,所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群,所述SOE数据为事件顺序记录SOE事件;根据所述空闲队列中存储的处于空闲状态的数据处理进程的标识信息,确定处于空闲状态的数据处理进程的数量,若处于空闲状态的数据处理进程的数量大于预设值,且所述专用队列中存在待处理SOE数据时,则调度所述处于空闲状态的数据处理进程处理所述专用队列中的SOE数据。
2.如权利要求1所述的方法,其特征在于,还包括:
待所述繁忙队列中的数据处理进程标识所对应的数据处理进程对数据队列中的数据处理完毕,则将该数据处理进程的标识信息存储至所述空闲队列中。
3.如权利要求1所述的方法,其特征在于,所述从消息服务器集群的公共队列中取出所述云终端服务器上报的数据后,根据所述数据的属性信息,确定所述数据的数据类型,包括:
预先建立一鉴别进程;
所述鉴别进程从消息服务器集群的公共队列中取出数据后,根据所述数据的属性信息,确定所述数据的数据类型。
4.一种数据处理装置,该装置应用于能源云服务系统,所述能源云服务系统包括:多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群,其特征在于,该装置包括:
获取模块,用于从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后,根据所述数据的属性信息,确定所述数据的数据类型;
分发模块,用于在所述数据的数据类型为数据量数据时,则将所述数据分发至数据队列中,所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群,所述数据量数据为实时监测数据;
在所述数据的数据类型为SOE数据时,则将所述数据分发至专用队列中,所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群,所述SOE数据为事件顺序记录SOE事件;
处理模块,用于从空闲队列中获取数据处理进程标识信息,所述空闲队列用于存储处于空闲状态的数据处理进程的标识信息;根据所述进程标识信息,确定处于空闲状态的数据处理进程,并调度处于空闲状态的数据处理进程对所述数据队列中的数据进行处理后上报至所述云平台服务器集群,将正在处理所述数据队列中的数据量数据的数据处理进程的标识信息存储至繁忙队列中,所述繁忙队列用于存储处于工作状态的数据处理进程的标识信息;以及,根据空闲队列中存储的处于空闲状态的数据处理进程的标识信息,确定处于空闲状态的数据处理进程的数量,若处于空闲状态的数据处理进程的数量大于预设值,且所述专用队列中存在待处理SOE数据时,则调度所述处于空闲状态的数据处理进程处理所述专用队列中的SOE数据。
5.如权利要求4所述的装置,其特征在于,所述处理模块,还用于:
待所述繁忙队列中的数据处理进程标识所对应的数据处理进程对数据队列中的数据处理完毕,则将该数据处理进程的标识信息存储至所述空闲队列中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海东土远景工业科技有限公司,未经上海东土远景工业科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710393129.7/1.html,转载请声明来源钻瓜专利网。