[发明专利]数据采集方法、设备、计算机设备和存储介质

权利要求书

1.一种数据采集方法，其特征在于，应用于服务器，所述方法包括：

多个第一服务器根据预设负载均衡策略接收智能终端数据，并转发所述智能终端数据至多个第二服务器；

所述第二服务器对接收的智能终端数据进行清洗，并根据不同的主题，将清洗后的智能终端数据发送至第三服务器；

所述第三服务器按照不同的主题，对清洗后的智能终端数据进行固化，以使存储服务器存储固化后的智能终端数据;

所述第一服务器转发智能终端数据至多个第二服务器，包括：

根据第一服务器与多个第二服务器的对应关系及所述预设负载均衡策略，当前第一服务器将接收的所述智能终端数据转发至对应的多个第二服务器中的任意一个第二服务器；

所述第一服务器与多个第二服务器的对应关系为：

根据第二服务器的IP地址，将所述第二服务器分组，每一组中包括多个第二服务器；

每一组第二服务器对应一个第一服务器；

其中，一个第二服务器对应一个IP地址。

2.如权利要求1所述的方法，其特征在于，所述多个第一服务器根据预设负载均衡策略接收智能终端数据，包括：

根据域名与IP地址的对应关系，从当前域名对应的多个IP地址中选取一个IP地址作为目标IP地址，使所述目标IP地址对应的第一服务器接收所述智能终端数据；

其中，所述域名为所述多个第一服务器的域名，所述域名对应多个IP地址，所述一个IP地址对应一个第一服务器，一个第一服务器对应多个第二服务器。

3.如权利要求1所述的方法，其特征在于，所述第二服务器对接收的智能终端数据进行清洗，包括：

当前第二服务器根据对应的清洗策略，对所述智能终端数据进行清洗；

其中，不同组的第二服务器对应不同的清洗策略，同一组的第二服务器对应相同的清洗策略。

4.如权利要求1所述的方法，其特征在于，所述第二服务器对接收的智能终端数据进行清洗，包括：

获取所述智能终端数据的格式；

根据预设过滤规则，过滤掉不满足预设格式的智能终端数据；

判断所述智能终端数据的格式是否规范；

若所述智能终端数据的格式不规范，则对缺失字段进行补充。

5.如权利要求1或4所述的方法，其特征在于，所述方法还包括：

对清洗后的智能终端数据增加时间戳字段，所述时间戳字段用于校验数据。

6.如权利要求1所述的方法，其特征在于，一个第三服务器对应多个主题，一个主题对应多个第三服务器，

所述根据不同的主题，第二服务器将清洗后的智能终端数据发送至第三服务器，包括：

获取所述智能终端数据的主题；

获取所述主题对应的多个第三服务器；

将所述智能终端数据发送至所述主题对应的多个第三服务器中的任意一个第三服务器。

7.如权利要求1所述的方法，其特征在于，所述第三服务器为Kafka服务器，

所述第三服务器按照不同的主题，对清洗后的智能终端数据进行固化，包括：

所述Kafka服务器按照对应的主题，对清洗后的智能终端数据进行固化。