[发明专利]日志采集方法和系统

摘要

本发明提供一种日志采集方法和系统，所述方法包括通过UDP传输方式获取日志数据；按预设写入频率将日志数据写入日志文件；对日志文件进行打包压缩得到压缩文件；通过TCP传输方式转发压缩文件。上述日志采集方法和系统，通过UDP传输方式获取日志数据，按预设频率将日志数据写入日志文件，对日志文件进行打包压缩得到压缩文件，然后通过TCP传输方式转发压缩文件，异步采集日志数据且分布式处理日志数据，提高了系统性能和存储效率，且按预设写入频率写入数据减轻了磁盘的读写负荷。

主权项

1.一种日志采集方法，包括如下步骤：通过UDP传输方式获取日志数据；按预设写入频率将所述日志数据写入日志文件；所述按预设写入频率将所述日志数据写入日志文件包括：按照第一预设时间间隔创建所述日志文件，并将该时间间隔内获取的所述日志数据有序地写入所述日志文件中；按预设打包频率对所述日志文件进行打包压缩得到压缩文件，根据时间和系统信息对所述压缩文件进行命名；所述按照预设打包频率对所述日志文件进行打包压缩包括：对第二预设时间间隔内生成的日志文件进行打包压缩得到所述压缩文件；通过TCP传输方式转发所述压缩文件；在判断到所述压缩文件转发成功后，删除所述压缩文件；其中，所述通过UDP传输方式获取日志数据的步骤之前还包括如下步骤：采集应用程序的日志数据；将日志数据中的多个字段连接成一个字符串，以形成格式化的日志数据；将所述格式化的日志数据进行压缩；通过UDP传输方式发送压缩后的日志数据；其中，所述日志数据中的日志字段包括普通字段和扩展字段，所述扩展字段包括若干扩展项；所述将日志数据中的多个字段连接成一个字符串，以形成格式化的日志数据包括：对所述普通字段和每个所述扩展项进行字符替换；通过第一预设字符连接替换后的扩展项，得到新的扩展字段；通过第二预设字符连接替换后的普通字段和所述新的扩展字段，得到所述字符串。