[发明专利]用于大数据预分析的方法和装置

权利要求书

1.一种大数据预分析装置，所述大数据预分析装置包括：

命令输入单元，所述命令输入单元接收来自用户的数据查询及分析命令，其中，所述用户能够选择式地或者直接地输入所述数据查询及分析命令；

任务执行及优化单元，所述任务执行及优化单元解析所述数据查询及分析命令以确定其定义的数据处理任务，并随之基于预定规则优化并执行所述数据处理任务；

数据存储单元，所述数据存储单元基于存储优化算法存储所述数据处理任务执行过程中使用的数据；

结果输出单元，所述结果输出单元向用户输出所述数据处理任务的执行结果，

其中，基于预定规则优化并执行所述数据处理任务的步骤包括：根据待执行任务的具体操作并基于预统计的结果进行优化，其中，所述预统计被周期性地或不定期的执行以识别数据取值分布以及数据表的数据量大小，并且所述优化限定针对表关联操作优先加载数据量小的数据表并且限定针对数据过滤操作优先针对取值分布较多的字段进行过滤。

2.根据权利要求1所述的大数据预分析装置，其特征在于，所述数据查询及分析命令是基于SQL语言的命令。

3.根据权利要求1所述的大数据预分析装置，其特征在于，基于预定规则优化并执行所述数据处理任务的步骤进一步包括：根据待执行任务操作的数据字段的数量选择不同存储方式的数据进行操作，即当待执行任务操作的数据字段的数量小于预定阈值时选择列式存储的数据，而当待执行任务操作的数据字段的数量不小于所述预定阈值时选择行列混合式存储的数据。

4.根据权利要求3所述的大数据预分析装置，其特征在于，所述数据存储单元自动地确定所述数据处理任务执行过程中不同操作使用列式存储的数据和行列混合式存储的数据时的处理效率，并根据所确定的处理效率针对特定的数据字段执行数据优化操作，其中所述数据优化操作包括：（1）对经常处理分析的数据字段进行压缩；（2）对关联的数据字段进行联合存储。

5.根据权利要求4所述的大数据预分析装置，其特征在于，所述结果输出单元能够通过显示器向用户呈现所述数据处理任务的执行结果，并且能够基于用户的指令提供所述数据处理任务的执行结果的下载服务。

6.一种用于大数据预分析的方法，所述用于大数据预分析的方法包括下列步骤：

（A1）接收来自用户的数据查询及分析命令，其中，所述用户能够选择式地或者直接地输入所述数据查询及分析命令；

（A2）解析所述数据查询及分析命令以确定其定义的数据处理任务，并随之基于预定规则优化并执行所述数据处理任务；

（A3）基于存储优化算法存储所述数据处理任务执行过程中使用的数据；

（A4）向用户输出所述数据处理任务的执行结果，

其中，基于预定规则优化并执行所述数据处理任务的步骤包括：根据待执行任务的具体操作并基于预统计的结果进行优化，其中，所述预统计被周期性地或不定期的执行以识别数据取值分布以及数据表的数据量大小，并且所述优化限定针对表关联操作优先加载数据量小的数据表并且限定针对数据过滤操作优先针对取值分布较多的字段进行过滤。