[发明专利]一种减少数据冗余的资源日志读写方法和装置

说明书

本申请实施例提供了一种减少数据冗余的资源日志读写方法和相应的装置，所述方法和装置应用于视联网，所述视联网中包括依次连接的上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，上级监控管理平台包括上级数据库，下级监控管理平台包括日志记录文件；下级监控管理平台将生成的资源变化日志写入到日志记录文件中，针对上级监控管理平台发送的日志读取指令，从目标位置字节数开始提取后续的所有数据发送至上级监控管理平台，上级监控管理平台根据获取的数据更新日志读取指令，将上次的结束读取位置作为下次的起始读取位置，使得上级监控管理平台获取的数据都是新增加的数据，避免了读取重复数据，提高了数据的读取速度和发送速度。

技术领域

本申请涉及视联网技术领域，特别是涉及一种减少数据冗余的资源日志读写方法和装置。

背景技术

当视联网上级监控管理平台在重启或要读取新的资源变化数据时，需要重新订阅所有级联的下级监控管理平台的数据，下级监控管理平台将本级所有协转网关监控资源，监控故障报告、监控状态等数据重新向上级推送。正常的使用环境中，一个下级监控管理平台有可能是100万以上的监控资源，此时100万监控资源的状态、信息，故障信息是十分庞大的数据量(以G为单位的数据量)，上级监控管理平台接收到这些资源需要和已有资源进行比对处理，而级联上来的数据可能有80％是上级监控管理平台已有资源数据且这些监控资源在协转网关上没有发生任何变化(监控名称改变，监控状态改变，描述信息(位置，坐标等等)，因而造成了大量的重复数据发送，占用大量带宽资源且读取时间非常长。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种减少数据冗余的资源日志读写方法和相应的一种减少数据冗余的资源日志读写装置。

为了解决上述问题，本申请公开了一种减少数据冗余的资源日志读写方法，所述方法应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括上级数据库，所述下级监控管理平台包括日志记录文件，所述方法包括：

所述下级监控管理平台针对所述视联网协议转换网关发生的变动操作，生成多个资源变化日志；

所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识，所述文件总字节数标识为写入所述多个资源变化日志的日志记录文件的总字节数的标识；

所述下级监控管理平台接收所述上级监控管理平台发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；

所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的所有第一字节数据；

所述下级监控管理平台将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述文件读取位置字节数对应。

优选地，所述视联网协议转换网关具有网关标识，所述资源变化日志具有与所述网关标识对应的日志标识；所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件的步骤包括：