[发明专利]用于大数据预分析的方法和装置

摘要

本发明提出了一种用于大数据预分析的方法和装置，所述方法包括：接收来自用户的数据查询及分析命令，其中，所述用户能够选择式地或者直接地输入所述数据查询及分析命令；解析所述数据查询及分析命令以确定其定义的数据处理任务，并随之基于预定规则优化并执行所述数据处理任务；基于存储优化算法存储所述数据处理任务执行过程中使用的数据；向用户输出所述数据处理任务的执行结果。本发明所公开的用于大数据预分析的方法和装置能够显著地提高大数据预分析结果的有效性和准确性。

主权项

1.一种大数据预分析装置，所述大数据预分析装置包括：命令输入单元，所述命令输入单元接收来自用户的数据查询及分析命令，其中，所述用户能够选择式地或者直接地输入所述数据查询及分析命令；任务执行及优化单元，所述任务执行及优化单元解析所述数据查询及分析命令以确定其定义的数据处理任务，并随之基于预定规则优化并执行所述数据处理任务；数据存储单元，所述数据存储单元基于存储优化算法存储所述数据处理任务执行过程中使用的数据；结果输出单元，所述结果输出单元向用户输出所述数据处理任务的执行结果，其中，基于预定规则优化并执行所述数据处理任务的步骤包括：根据待执行任务的具体操作并基于预统计的结果进行优化，其中，所述预统计被周期性地或不定期的执行以识别数据取值分布以及数据表的数据量大小，并且所述优化限定针对表关联操作优先加载数据量小的数据表并且限定针对数据过滤操作优先针对取值分布较多的字段进行过滤。