[发明专利]文件快速寻址装置、方法、系统及计算机可读存储介质

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种文件快速寻址装置、方法、系统及计算机可读存储介质。

背景技术

随着网络应用的迅速发展，网络信息数据量越来越大，如，在对移动终端日志信息进行收集的时候，会得到海量的日志文件。在对这些日志文件进行处理的过程中，存在对大量日志文件的读写操作，从磁盘中的文件夹中依次预取日志文件到内存中，以此循环进行处理和查询操作。在这个过程中，会消耗大量时间的同时对处理服务器的性能要求非常高。

发明内容

本发明的目的是提供一种文件快速寻址装置、方法、系统及计算机可读存储介质，有效解决现有技术中对于海量文件的读取效率低下的技术问题。

本发明提供的技术方案如下：

一种文件快速寻址装置，包括：

日志文件读入模块，用于读入预先生成的日志文件，所述日志文件中包括各文件名及其存储的绝对路径之间的关联列表；

记录读取模块，与所述文件读入模块连接，用于从所述关联列表中读取一条关联记录；

文件定位模块，与所述记录读取模块连接，用于根据读取的所述关联记录中包括的绝对路径信息定位待处理文件所处的位置；

待处理文件读入模块，与所述文件定位模块连接，用于根据定位到的位置信息读入所述待处理文件并对其进行处理。

在本技术方案中，预先对流入的海量原始文件的文件名和存储的绝对路径进行记录并生成日志文件，以此在处理的海量文件的时候，根据生成的日志文件中的关联列表依次读取文件，节约了计算资源的同时，有效节约了存储资源和时间资源。

进一步优选地，所述文件快速寻址装置中还包括：

日志收集系统，用于在文件生成并存储的过程中，记录每个文件的文件名和绝对路径；

日志文件生成模块，与所述日志收集系统连接，用于将日志收集系统收集到的文件名和绝对路径进行关联存储，得到日志文件并进行存储。

进一步优选地，在文件生成并存储的过程中，采用flume收集系统记录每个文件的文件名和绝对路径。

在本技术方案中，采用flume收集系统对流入的海量原始文件的文件名和存储的绝对路径进行记录并生成日志文件，便于后续根据日志文件中的关联列表快速实现文件的读取操作，简单方便。

进一步优选地，所述文件快速寻址装置中还包括：

关联记录删除模块，用于在处理完所述待处理文件后，将该待处理文件对应的关联记录从所述日志文件的关联列表中删除得到新的关联列表；

判断模块，分别与所述关联记录删除模块和记录读取模块连接，用于判断所述新的关联列表中是否包括至少一条关联记录；若是，记录读取模块从所述关联列表中读取一条关联记录。

在本技术方案中，每完成一个文件的读取操作，从关联列表中删除该条关联记录得到新的关联列表，并以此循环，直到关联列表中所有的文件读取完毕。

本发明还提供了一种文件快速寻址方法，包括：

读入预先生成的日志文件，所述日志文件中包括各文件名及其存储的绝对路径之间的关联列表；

从所述关联列表中读取一条关联记录；

根据读取的所述关联记录中包括的绝对路径信息定位待处理文件所处的位置；

根据定位到的位置信息读入所述待处理文件并对其进行处理。

在本技术方案中，预先对流入的海量原始文件的文件名和存储的绝对路径进行记录并生成日志文件，以此在处理的海量文件的时候，根据生成的日志文件中的关联列表依次读取文件，节约了计算资源的同时，有效节约了存储资源和时间资源。

进一步优选地，在步骤读入预先生成的日志文件之前，还包括：

在文件生成并存储的过程中，采用预先设定的日志收集系统记录每个文件的文件名和绝对路径；

将日志收集系统收集到的文件名和绝对路径进行关联存储，得到日志文件并进行存储。

进一步优选地，在步骤采用预先设定的日志收集系统记录每个文件的文件名和绝对路径中，具体为：采用flume收集系统记录每个文件的文件名和绝对路径。

在本技术方案中，采用flume收集系统对流入的海量原始文件的文件名和存储的绝对路径进行记录并生成日志文件，便于后续根据日志文件中的关联列表快速实现文件的读取操作，简单方便。

进一步优选地，在步骤根据定位到的位置信息读入所述待处理文件并对其进行处理之后，还包括：

处理完所述待处理文件时，将该关联记录从所述日志文件的关联列表中删除得到新的关联列表；