[发明专利]用于大数据预分析的方法和装置

说明书

本发明提出了一种用于大数据预分析的方法和装置，所述方法包括：接收来自用户的数据查询及分析命令，其中，所述用户能够选择式地或者直接地输入所述数据查询及分析命令；解析所述数据查询及分析命令以确定其定义的数据处理任务，并随之基于预定规则优化并执行所述数据处理任务；基于存储优化算法存储所述数据处理任务执行过程中使用的数据；向用户输出所述数据处理任务的执行结果。本发明所公开的用于大数据预分析的方法和装置能够显著地提高大数据预分析结果的有效性和准确性。

技术领域

本发明涉及数据分析方法和装置，更具体地，涉及用于大数据预分析的方法和装置。

背景技术

目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，在实际使用海量数据（即大数据）之前对其进行预分析变得越来越重要。

在现有的技术方案中，通常采用数据抽样方式对大数据进行预分析（例如分析目标数据的内容、分布、关联关系等等），即从目标大数据中随机地或基于预定规则抽取样本数据，并随之针对该样本数据执行分析操作。

然而，现有的技术方案存在如下问题：由于基于样本数据执行数据预分析，故预分析结果的准确性直接取决于所抽取的样本数据的质量和代表性，由此预分析结果的有效性和准确性难于控制并且是不稳定的。

因此，存在如下需求：提供能够显著地提高大数据预分析结果的有效性和准确性的用于大数据预分析的方法和装置。

发明内容

为了解决上述现有技术方案所存在的问题，本发明提出了能够显著地提高大数据预分析结果的有效性和准确性的用于大数据预分析的方法和装置。

本发明的目的是通过以下技术方案实现的：

一种大数据预分析装置，所述大数据预分析装置包括：

命令输入单元，所述命令输入单元接收来自用户的数据查询及分析命令，其中，所述用户能够选择式地或者直接地输入所述数据查询及分析命令；

任务执行及优化单元，所述任务执行及优化单元解析所述数据查询及分析命令以确定其定义的数据处理任务，并随之基于预定规则优化并执行所述数据处理任务；

数据存储单元，所述数据存储单元基于存储优化算法存储所述数据处理任务执行过程中使用的数据；

结果输出单元，所述结果输出单元向用户输出所述数据处理任务的执行结果。

在上面所公开的方案中，优选地，所述数据查询及分析命令是基于SQL语言的命令。

在上面所公开的方案中，优选地，所述优化所述数据处理任务包括：根据待执行任务的具体操作并基于预统计的结果优化各个操作执行的先后顺序以及数据加载的顺序，其中，所述预统计被周期性地或不定期的执行以识别数据取值分布以及数据表的数据量大小，并且所述优化限定针对表关联操作优先加载数据量小的数据表并且限定针对数据过滤操作优先针对取值分布较多的字段进行过滤。

在上面所公开的方案中，优选地，所述优化所述数据处理任务进一步包括：根据待执行任务操作的数据字段的数量选择不同存储方式的数据进行操作，即当待执行任务操作的数据字段的数量小于预定阈值时选择列式存储的数据，而当待执行任务操作的数据字段的数量不小于所述预定阈值时选择行列混合式存储的数据。

在上面所公开的方案中，优选地，所述数据存储单元自动地确定所述数据处理任务执行过程中不同操作使用列式存储的数据和行列混合式存储的数据时的处理效率，并根据所确定的处理效率针对特定的数据字段执行数据优化操作，其中所述数据优化操作包括：（1）对经常处理分析的数据字段进行压缩；（2）对关联的数据字段进行联合存储。

在上面所公开的方案中，优选地，所述结果输出单元能够通过显示器向用户呈现所述数据处理任务的执行结果，并且能够基于用户的指令提供所述数据处理任务的执行结果的下载服务。