[发明专利]数据分析方法和装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种数据分析方法和装置。

背景技术

云计算（Cloud Computing）是通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大的系统进行搜寻、计算分析之后将处理结果回传给用户。目的是为了通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的系统。

分布式数据挖掘是云计算范畴中的一个领域，主要是以分布式文件系统和MapReduce组合的分布式的基础框架作为算法分析的平台，其作用是提供对海量数据的挖掘算法分析和分布式存储服务以及高速读写访问的能力。

在现有的数据挖掘系统中，一个系统只能支持一个应用进行挖掘算法分析，然后，再将算法分析的结果输入到一个数据库中。对于不同的应用和多个数据库，无法做到在同一个系统中共存，这样便无法做到在同一个数据挖掘系统中支持多种不同应用的场景的目的。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种数据分析方法和装置，以至少解决现有技术中一个数据挖掘系统仅可以对一个应用进行数据挖掘而造成的资源浪费和数据挖掘的效率低下的技术问题。

根据本发明的一个方面，提供了一种数据分析方法，包括：获取应用对应的待分析数据；根据应用对应的挖掘算法对待分析数据进行分析；将分析得到的结果数据存储在应用对应的数据空间中，其中，不同的应用对应不同的数据空间。

优选地，将分析得到的结果数据存储在应用对应的数据空间中包括：将分析得到的数据存储到分布式缓存系统中，其中，在分布式缓存系统建立了与不同应用对应的数据空间，其中，每个数据空间相对独立。

优选地，将分析得到的数据存储到分布式缓存系统中之后，上述方法还包括：将在分布式缓存系统中存储的超于预定时长的数据进行固化。

优选地，根据应用对应的挖掘算法对待分析数据进行分析，包括：根据应用对应的数据挖掘插件，对待分析数据同不同于应用的应用的待分析数据进行并行分析，其中，一个数据挖掘插件对应一个数据挖掘算法，不同的应用对应不同的数据挖掘插件。

优选地，根据挖掘算法对待分析数据进行分析，包括：通过MapReduce的平台对待分析数据进行分析。

优选地，获取应用对应的待分析数据，包括：判断待分析的数据所对应的源文件是否满足下载条件；如果满足，则获取下载源文件，并将源文件作为待分析数据。

优选地，判断待分析的数据所对应的源文件是否满足下载条件，包括：判断源文件所对应的时间信息与当前时间是否相同，如果相同，则确定源文件满足下载条件。

优选地，根据应用对应的挖掘算法对待分析数据进行分析，包括：将待分析数据分为多个任务，为每个任务设定不同的优先级；根据每个任务所对应的优先级对待分析数据进行分析。

优选地，在将分析得到的结果数据存储在应用对应的数据空间中之后，上述方法还包括：接收客户端发送的对应于应用的展示请求；根据展示请求从应用对应的数据空间中获取结果数据；将结果数据发送给客户端进行展示。

根据本发明的另一个方面，还提供了一种数据分析装置，包括：第一获取单元，用于获取应用对应的待分析数据；分析单元，用于根据应用对应的挖掘算法对待分析数据进行分析；存储单元，用于将分析得到的结果数据存储在应用对应的数据空间中，其中，不同的应用对应不同的数据空间。

优选地，上述装置还包括：接收单元，用于在将分析得到的结果数据存储在应用对应的数据空间中之后，接收客户端发送的对应于应用的展示请求；第二获取单元，用于根据展示请求从应用对应的数据空间中获取结果数据；发送单元，用于将结果数据发送给客户端进行展示。

在本发明中，在获取应用对应的待分析数据以后，再根据每个应用对应的挖掘算法对该应用进行数据挖掘分析，并将数据挖掘后得到的分析结果存储在该应用对应的数据空间中，从而达到了对多个应用同时进行数据分析的目的。通过上述方式解决了现有技术中一个数据挖掘系统仅可以对一个应用进行数据挖掘而造成的资源浪费和数据挖掘的效率低下的技术问题，从而达到了提高资源利用率和对数据进行分析处理的速度的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据分析方法的一种优选流程图；