[发明专利]一种数据处理方法、装置及计算机存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取第一日志数据，所述第一日志数据为已采集到的历史日志数据；

对所述第一日志数据进行索引构建，得到第一索引文件；所述第一索引文件包括N个子索引文件和总索引文件；

利用所述第一索引文件进行增量同步，得到第二索引文件；

根据所述第二索引文件采集第二日志数据，所述第二日志数据为当前要采集的日志数据；

所述利用所述第一索引文件进行增量同步，得到第二索引文件，包括：

分别利用所述第一索引文件中的N个子索引文件进行增量同步，得到第二索引文件，N的取值大于等于2。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一日志数据进行索引构建，得到第一索引文件，包括：

监听索引构建规则；

根据所监听到的索引构建规则对所述第一日志数据进行索引构建，得到N个子索引文件；

对所述N个子索引文件进行同类合并处理，得到总索引文件。

3.根据权利要求2所述的方法，其特征在于，所述根据所监听到的索引构建规则对所述第一日志数据进行索引构建，得到N个子索引文件，包括：

根据所监听到的索引构建规则，对所述第一日志数据进行频次统计，得到统计结果；

将所述统计结果中满足所述索引构建规则的日志块进行分类构建索引，得到N个子索引文件。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监听负载均衡规则；

根据所监听到的负载均衡规则收集并存储所采集到的第二日志数据。

5.一种数据处理设备，其特征在于，所述数据处理设备包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的数据处理程序，以实现以下步骤：

获取第一日志数据，所述第一日志数据为已采集到的历史日志数据；

对所述第一日志数据进行索引构建，得到第一索引文件；所述第一索引文件包括N个子索引文件和总索引文件；

利用所述第一索引文件进行增量同步，得到第二索引文件；

根据所述第二索引文件采集第二日志数据，所述第二日志数据为当前要采集的日志数据；

所述利用所述第一索引文件进行增量同步，得到第二索引文件，包括：

分别利用所述第一索引文件中的N个子索引文件进行增量同步，得到第二索引文件，N的取值大于等于2。

6.根据权利要求5所述的数据处理设备，其特征在于，所述第一索引文件包括N个子索引文件和总索引文件；

所述处理器还用于执行存储器中存储的用于对所述第一日志数据进行索引构建，得到第一索引文件的程序，以实现以下步骤：

监听索引构建规则；

根据所监听到的索引构建规则对所述第一日志数据进行索引构建，得到N个子索引文件；

对所述N个子索引文件进行同类合并处理，得到总索引文件。

7.根据权利要求6所述的数据处理设备，其特征在于，所述处理器还用于执行存储器中存储的用于根据所监听到的索引构建规则对所述第一日志数据进行索引构建，得到N个子索引文件的程序，以实现以下步骤：

根据所监听到的索引构建规则，对所述第一日志数据进行频次统计，得到统计结果；

将所述统计结果中满足所述索引构建规则的日志块进行分类构建索引，得到N个子索引文件。

8.根据权利要求5所述的数据处理设备，其特征在于，所述处理器还用于执行存储器中存储的数据处理程序，以实现以下步骤：

监听负载均衡规则；

根据所监听到的负载均衡规则收集并存储所采集到的第二日志数据。