[发明专利]一种大数据处理方法、装置及系统

权利要求书

1.一种大数据处理方法，其特征在于，包括：

服务端在监测到解析端接入时，根据所述解析端的物理地址信息创建一个用于保存所述解析端对应的用户设备数目以及各用户设备标识信息的数据列表，并为所述解析端分配一个计数器，以及基于所述计数器记录所述解析端对应的用户设备数目；

服务端在监测到有用户设备接入时，针对所述用户设备设置相应的数据队列，并将所述用户设备上传的原始数据存储在所述数据队列中；

服务端分别确定每一个解析端对应的用户设备数目，并确定出对应的用户设备数目最少的解析端；

服务端将所述原始数据发送给所述对应的用户设备数目最少的解析端，并触发所述对应的用户设备数目最少的解析端执行以下操作：对接收到的原始数据进行数据转换处理，得到相应的工程设备数据和机组状态数据，并将所述机组状态数据发布至Kafka集群中，以便用户从所述Kafka集群中获取所述用户已订阅的机组状态数据。

2.如权利要求1所述的方法，其特征在于，所述数据队列为一种先进先出FIFO的数据结构的线性表。

3.一种大数据处理方法，其特征在于，包括：

解析端接入服务端，触发服务端执行以下操作：根据所述解析端的物理地址信息创建一个用于保存所述解析端对应的用户设备数目以及各用户设备标识信息的数据列表，并为所述解析端分配一个计数器，以及基于所述计数器记录所述解析端对应的用户设备数目；

解析端接收服务端发送的用户设备上传的原始数据，其中，所述解析端为所述服务端根据每一个解析端分别对应的用户设备数目确定出的，对应的用户数目最少的解析端；

解析端对接收到的原始数据进行数据转换处理，得到相应的工程设备数据和机组状态数据；

解析端将所述机组状态数据发布至Kafka集群中，以便用户从所述Kafka集群中实时获取已订阅的机组状态数据。

4.如权利要求3所述的方法，其特征在于，解析端在得到相应的工程设备数据和机组状态数据之后，进一步包括：

解析端判断内存数据库中是否存在所述工程设备数据；

若解析端判定内存数据库中存在所述工程设备数据，则确定内存数据库中已创建所述工程设备数据对应的用户设备的工程。

5.如权利要求4所述的方法，其特征在于，进一步包括：

若解析端判定内存数据库中不存在所述工程设备数据，则判断关系型数据库中是否存在所述工程设备数据；

若解析端判定所述关系型数据库中存在所述工程设备数据，则确定所述关系型数据库中已存在所述工程设备数据对应的用户设备的工程，并将所述工程设备信息对应的用户设备的工程添加至内存数据库；

若解析端判定所述关系型数据库中不存在所述工程设备数据，则创建所述工程设备数据对应的用户设备的工程，并将所述工程设备数据对应的用户设备的工程添加至内存数据库中。

6.如权利要求3-5任一项所述的方法，其特征在于，解析端将所述机组状态数据发布至Kafka集群中，以便用户从所述Kafka集群中实时获取已订阅的机组状态数据，具体包括：

解析端将所述机组状态数据按照不同主题进行分类处理；

解析端将所述不同主题的机组状态数据作为消息发布至Kafka集群，以便已订阅所述不同主题的机组状态数据的用户从所述Kafka集群中实时获取所述不同主题的机组状态数据。