[发明专利]一种快照型日志压缩方法、系统及装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种快照型日志压缩方法、系统及装置。

背景技术

每隔一段时间客户端向服务器发送一条数据，该条数据携带了客户端行为的历史信息和最新的信息，随着发送次数的增加，越晚发送的数据携带的信息越新，该类型的数据被称为快照型数据。在每条快照型数据中携带有客户端此次操作行为的历史信息和最新的信息，操作行为例如可以为播放行为，浏览行为等。随着客户端与服务器交互次数的增加，时间越往后客户端向服务器发送的快照型数据中携带的信息越多。例如用户在通过客户端观看视频的过程中，服务器无法预测用户在下一个时间点所处的状态，只能依靠客户端每隔段时间向服务器发送的快照型数据。由快照型数据组成的日志称为快照型日志。

由于每条快照型数据中包含有客户端的历史信息及最新的信息，因此对于快照型日志，新接收到的快照型日志比之前接收到的快照型日志携带的信息更多，数据也更新，并且新接收到的快照型日志中包含之前快照型日志中的数据，最新一条快照型日志中携带有此次操作行为在当前时间之前的所有数据，即包含针对此次操作行为之前快照日志中携带的数据。

现有技术中，日志接收服务器接收从客户端发送的快照型日志，日志处理服务器从日志接收服务器获取快照型日志。日志处理服务器和日志接收服务器分别部署在不同的服务器上，当对日志进行处理时，日志处理服务器将日志文件从快照型日志接收服务器通过网络下载到本地，并对快照型日志进行处理。

但日志接收服务器中保存的原始日志数量较多，而日志接收服务器与日志处理服务器之间的带宽有限，将每条日志从日志接收服务器传输到日志处理服务器将消耗大量的时间，另外，由于需要将接收服务器中的日志下载到处理服务器进行处理，因此日志处理服务器也需要大量的存储空间，同时，由于快照型日志中针对同一操作行为的快照型日志包含的数据基本相同，如果每条快照型日志都进行解析，则会导致处理效率降低，造成处理时间的大量浪费。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种快照型日志压缩方法、系统及装置。

本发明实施例提供了一种快照型日志压缩方法，该方法包括：

日志接收服务器判断当前是否满足设定的日志压缩启动条件；

当满足设定的日志压缩启动条件时，针对快照型日志中记录的每个操作行为，在本地查找更新时间最晚的携带该操作行为的快照型日志；

将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中，该压缩后的文件夹中保存的快照型日志用于提供给日志处理服务器。

为了有效的提高快照型日志的压缩效率及准确性，本发明实施例中所述在本地查找更新时间最晚的携带该操作行为的快照型日志包括：

识别快照型日志中携带的所述操作行为；

判断所述操作行为的信息是否保存在查找列表中；

当该操作行为的信息未保存在查找列表中时，将该操作行为的标识信息，所述快照型日志的更新时间记录到查找列表中；

当该操作行为的信息保存在查找列表中时，判断所述快照型日志的更新时间是否晚于查找列表中保存的该操作行为对应的更新时间，当所述快照型日志的更新时间晚于查找列表中保存的该操作行为对应的更新时间时，将查找列表中保存的该从操作行为对应的更新时间替换为所述快照型日志的更新时间。

为了快速的根据查找列表中保存的信息，查找快照型日志，在本发明实施例中所述查找列表中还针对每个操作行为，保存有更新时间最晚的携带该操作行为的快照型日志所在的位置信息。

为了保证快照型日志压缩的准确性，降低压缩后的快照型日志的数据量，在本发明实施例中所述将查找到的所述更新时间最晚的快照型日志保存到压缩后的文件夹中包括：

针对查找列表中保存的每条快照型日志的信息，判断该条快照型日志的更新时间与当前时间的时间间隔是否大于设定的时间阈值；

当该条快照型日志的更新时间与当前时间的时间间隔大于设定的时间阈值时，根据查找列表中保存的所述快照型日志的信息，将所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信息；

当所述查找列表中保存的每条快照型日志的更新时间与当前时间的时间间隔都不大于设定的时间阈值时，按照更新时间从早到晚的顺序对查找列表中的快照型日志进行排序，查找出更新时间较早的设定数量的快照型日志，将查找出的所述快照型日志保存到压缩后的文件夹中，并删除查找列表中保存的所述快照型日志的信息。