[发明专利]工业智造物联网的大数据传输和持久化方法及系统

权利要求书

1.一种工业智造物联网的大数据传输和持久化方法，其特征在于，包括如下步骤：

设备数据上传安全校验步骤：注册用户并加密上传数据；

数据传输路由分发步骤：发布所述上传数据并路由分发；

数据解析和持久化步骤：解析上传数据并进行数据持久化操作；

数据传输路由分发步骤包括：

数据上传发布步骤：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；

数据路由分发步骤：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；

分布式状态管理模块动态维护后接收数据节点的IP list；

根据动态配置的平滑加权轮询规则对上传数据进行路由分发。

2.根据权利要求1所述的工业智造物联网的大数据传输和持久化方法，其特征在于，所述设备数据上传安全校验步骤包括：

数据传输许可证书获取步骤：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；

加密上传步骤：根据所述数据传输许可证书对设备上报数据进行加密上传。

3.根据权利要求1所述的工业智造物联网的大数据传输和持久化方法，其特征在于，所述数据解析和持久化步骤，包括：

数据解析步骤:系统持久化层接收的字节流数据反序列化为实体类；

判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；

数据持久化步骤：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。

4.根据权利要求3所述的工业智造物联网的大数据传输和持久化方法，其特征在于，

所述实时持久化服务包括：

获取持久化数据节点信息和元数据信息；

根据持久化元数据信息构建实时数据异步发送端；

实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；

数据实时持久化后进行数据入库；

离线持久化服务包括：

对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；

异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。

5.一种工业智造物联网的大数据传输和持久化系统，其特征在于，包括如下模块：

设备数据上传安全校验模块：注册用户并加密上传数据；

数据传输路由分发模块：发布所述上传数据并路由分发；

数据解析和持久化模块：解析上传数据并进行数据持久化操作；

数据传输路由分发模块包括：

数据上传发布模块：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；

数据路由分发模块：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；

分布式状态管理模块动态维护后接收数据节点的IP list；

根据动态配置的平滑加权轮询规则对上传数据进行路由分发。