[发明专利]一种数据处理方法及装置

说明书

本发明提供了一种数据处理方法及装置。所述方法包括：采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；将所述第一处理结果保存至预置数据存储服务器中；应用服务器从所述预置数据存储服务器中获取所述第一处理结果；所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。本发明能够避免直接将第一处理结果保存出搜索服务中，从而能够对第一处理结果进行二次处理，并且，避免了大量数据写入ElasticSearch而影响Spark的计算效率的问题，提高了数据处理速度。

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据处理方法及装置。

背景技术

目前大多企业中存在很多对于用户行为分析的实现，其中有部分用户行为分析方案只解决了对于用户行为分析后的结果的展示，并没有对计算结果以及原始用户行为结合后的结果进行分析，比如Spark与Hadoop集成将Spark分析后的结果保存到(分布式文件系统hdfs，Hadoop Distributed File System)中，还有一部分实现了Spark与ElasticSearch(搜索服务器)的集成来实现日志的分析。

上述方案中，Spark分析后的结果保存到hdfs中不能直接进行二次计算分析，有的场景可能会对计算分析结果再次进行计算分析，并且，Spark分析后的结果直接保存到ElasticSearch中的性能问题，ElasticSearch写入效率相对较低，在大数据量写入的情况下会占用较多服务器资源，可能由于数据写入ElasticSearch而影响Spark的计算效率。

发明内容

本发明实施例提供一种数据处理方法及装置，以解决现有技术方案中Spark分析后的结果保存到hdfs中不能直接进行二次计算分析，并且，在大数据量写入的情况下会占用较多服务器资源，由于数据写入ElasticSearch而影响Spark的计算效率的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例公开了一种数据处理方法，包括：采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；将所述第一处理结果保存至预置数据存储服务器中；应用服务器从所述预置数据存储服务器中获取所述第一处理结果；所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

优选地，在所述采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果的步骤之前，还包括：获取待处理的目标数据。

优选地，所述预置数据存储服务器中预先保存有策略配置信息，所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果的步骤，包括：所述应用服务器从所述预置数据存储服务器中获取所述第一处理结果及所述策略配置信息；所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果的步骤，包括：所述应用服务器按照所述策略配置信息对所述第一处理结果进行二次处理，以得到所述二次处理结果。

优选地，在所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果的步骤之后，还包括：所述应用服务器将所述第二处理结果写入搜索服务器中。

优选地，在由述应用服务器将所述第二处理结果写入搜索服务器中的步骤之后，还包括：所述搜索服务器对所述第二处理结果执行聚合过滤处理；展示所述聚合过滤处理结果。

第二方面，本发明实施例还公开了一种数据处理装置，包括：一次处理模块，用于采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；第一结果保存模块，用于将所述第一处理结果保存至预置数据存储服务器中；第一结果获取模块，用于应用服务器从所述预置数据存储服务器中获取所述第一处理结果；二次处理模块，用于所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。

优选地，还包括：目标数据获取模块，用于获取待处理的目标数据。