[发明专利]一种大数据处理方法、装置及系统

说明书

本发明涉及数据分析技术领域，特别涉及一种大数据处理方法、装置及系统。该方法为：根据每一个解析端对应的用户设备数目，确定出对应的用户设备数目最少的解析端，并将原始数据发送给该解析端，以及触发该解析端执行以下操作：对接收到的原始数据进行数据转换处理，得到相应的机组状态数据，并将机组状态数据发布至Kafka集群中，以便用户从Kafka集群中获取已订阅的机组状态数据。采用上述方法，实现了各解析端之间的动态负载均衡，进一步的，用户可以实时获取到各用户设备分别对应的机组状态数据，并根据各用户设备分别对应的机组状态数据，预先检测出各用户设备是否存在运行异常的用户设备，从而减小用户设备的故障率，提高用户体验。

技术领域

本发明涉及数据分析技术领域，特别涉及一种大数据处理方法、装置及系统。

背景技术

随着网络信息化时代的日益普遍，随着大数据时代的来临，大数据的应用领域也越来越普遍，如，在空调领域的应用，具体的，实时处理并发的空调设备的大数据。

目前，在处理高并发的空调设备的大数据时，数据解析端对接收到的各空调设备反馈的原始数据进行解析处理，并将解析处理后的数据直接写入相应的第一数据库(如，SQL Server)中，以及按照预设规则，在预设的时间点将设定的时间段内写入第一数据库中的数据转存至第二数据库中。

然而，现有技术中，由于各数据解析端之间为业务竞争关系，这样，就可能导致某些数据解析端对应的空调设备的数目多，而某些数据解析端对应的空调设备的数目少，从而导致数据解析端解析负载不均衡。

进一步的，在第一数据库不断写入大量数据的情况下，若需要从第一数据库中读取数据，则需要花费很长的时间才能读取到想要的数据，甚至于由于频繁的写入、读取数据的操作，导致第一数据库性能下降，进而导致第一数据库瘫痪。因此，现有技术中，在进行数据查询时，只能从第二数据库中读取出数据，而第二数据库中并未存储有空调设备的实时数据，这样，就会导致查询到的数据的时效性差，从而不能在空调设备故障发生之前，根据空调设备的实时数据，预先检测出空调设备的异常情况，以便及时进行相应处理。

综上所述，需要设计一种新的大数据处理方法、装置及系统，以弥补现有技术中存在的缺陷和不足之处。

发明内容

本发明实施例提供一种大数据处理方法、装置及系统，用以解决现有技术中存在的各数据解析端负载不均衡，以及由于查询到的数据的时效性差，从而导致不能在空调设备故障发生之前，根据空调设备的实时数据，预先检测出空调设备的异常情况，以便及时进行相应处理的问题。

本发明实施例提供的具体技术方案如下：

一种大数据处理方法，包括：

服务端在监测到有用户设备接入时，针对所述用户设备设置相应的数据队列，并将所述用户设备上传的原始数据存储在所述数据队列中；

服务端分别确定每一个解析端对应的用户设备数目，并确定出对应的用户设备数目最少的解析端；

服务端将所述原始数据发送给所述对应的用户设备数目最少的解析端，并触发所述对应的用户设备数目最少的解析端执行以下操作：对接收到的原始数据进行数据转换处理，得到相应的工程设备数据和机组状态数据，并将所述机组状态数据发布至Kafka集群中，以便用户从所述Kafka集群中获取所述用户已订阅的机组状态数据。

可选的，服务端在监测到有用户设备接入之前，进一步包括：

服务端在监测到解析端接入时，根据所述解析端的物理地址信息创建一个用于保存所述解析端对应的用户设备数目以及各用户设备标识信息的数据列表，并为所述解析端分配一个计数器，以及基于所述计数器记录所述解析端对应的用户设备数目。

可选的，所述数据队列为一种先进先出FIFO的数据结构的线性表。

一种大数据处理方法，包括：