[发明专利]日志文件存储方法及装置

说明书

技术领域

本发明属于日志文件处理技术领域，特别是涉及一种日志文件存储方法及装置。

背景技术

内容分发网络(Content Delivery Net work，CDN)服务提供商是通过大量的边缘节点服务器来为客户提供加速服务。客户端的每一次访问，都会产生对应的日志文件。通过对日志文件进行分析处理，可以获取到有价值的信息，从而可以更好地为客户提供服务。

Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架，且支持在商品硬件构建的大型集群上运行的应用程序。Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)是Hadoop的一个核心组件，通过将多台服务器构建一个基于网络的分布式文件系统，实现海量数据的存储。

但是，现有技术中的基于HDFS的日志文件存储方法，存在着运维成本高的问题。

发明内容

本发明实施例解决的问题是如何在日志文件进行存储时节省开销。

为解决上述问题，本发明实施例提供了一种日志文件存储方法，所述方法包括：获取指定目录下的本地日志文件；将所获取的本地日志文件写入对应的云端文件；当确定所获取的本地日志文件写入对应的云端文件失败时，将对应的云端文件恢复至写入前的状态。

可选地，所述将所获取的本地日志文件写入对应的云端文件，包括：分别采用二进制格式打开指定的本地日志文件和对应的云端文件；当确定采用二进制格式打开指定的本地日志文件和对应的云端文件成功时，将所述本地日志文件写入所述云端文件的末尾。

可选地，所述对应的云端文件的大小的信息，为在将所获取的本地日志文件写入对应的云端文件之前获取。

可选地，当确定所获取的本地日志文件写入对应的云端文件失败时，所述方法还包括：为所述本地日志文件添加出错标记，并记录所述对应的云端文件写入前的大小的信息；当再次遍历至所述本地日志文件且检测到所述出错标记时，获取所述对应的云端文件写入前的大小的信息；基于所述对应的云端文件写入前的大小的信息，将对应的云端文件恢复至写入前的状态；当将对应的云端文件恢复至写入前的状态时，重新执行所述将所述本地日志文件写入对应的云端文件的操作。

可选地，所述基于所述对应的云端文件写入前的大小的信息，将对应的云端文件恢复至写入前的状态，包括：删除对应的云端文件的末尾的文件，以将对应的云端文件恢复至对应的云端文件写入前的大小。

本发明实施例还提供了一种日志文件存储装置，所述装置包括：第一获取单元，适于获取指定目录下的本地日志文件；发送单元，适于将所获取的本地日志文件写入对应的云端文件；恢复单元，适于当确定所获取的本地日志文件写入对应的云端文件失败时，将对应的云端文件恢复至写入前的状态。

可选地，所述发送单元，适于分别采用二进制格式打开指定的本地日志文件和对应的云端文件；当确定采用二进制格式打开指定的本地日志文件和对应的云端文件成功时，将所述本地日志文件写入所述云端文件的末尾。

可选地，所述装置还包括：第二获取单元，适于在将所获取的本地日志文件写入对应的云端文件之前获取对应的云端文件的大小的信息。

可选地，所述装置还包括：标记单元，适于为所述本地日志文件添加出错标记，并记录所述对应的云端文件写入前的大小的信息；恢复单元，适于当再次遍历至所述本地日志文件且检测到所述出错标记时，获取所述对应的云端文件写入前的大小的信息；基于所述对应的云端文件写入前的大小的信息，将对应的云端文件恢复至写入前的状态；重试单元，适于当将对应的云端文件恢复至写入前的状态时，重新执行所述将所述本地日志文件写入对应的云端文件的操作

可选地，所述恢复单元，适于删除对应的云端文件的末尾的文件，以将对应的云端文件恢复至对应的云端文件写入前的大小。

与现有技术相比，本发明的技术方案具有以下的优点：

上述的方案，通过在确定将本地日志文件写入对应的云端文件失败时，将对应的云端文件自动恢复至写入前的大小，而无需人工手动删除写入失败本地日志文件，可以节省由于日志文件写入失败进行删除所耗费的时间人力资源，因而可以提高效率，并节约资源。

附图说明

图1是本发明实施例中一种的日志文件存储方法的流程图；

图2是本发明实施例中另一种日志文件存储方法的流程图；

图3是本发明实施例中如何对缓存周期内的日志文件进行压缩合并得到对应的本地日志文件的流程图；