[发明专利]一种大数据在线交互式查询方法及系统

权利要求书

1.一种大数据在线交互式查询方法，其步骤包括：

1)用户根据业务需求定义与业务相关的计算窗口划分方法；

2)根据所述计算窗口划分方法建立计算窗口与HDFS中存储的数据文件映射关系；

3)修改Map Reduce框架下数据获取方式，由Reduce端实时返回每个计算窗口内的计算结果，以实现大数据环境下数据的在线交互式查询。

2.如权利要求1所述的大数据在线交互式查询方法，其特征在于，所述计算窗口划分方法包括按照时间属性划分的方法，按照相同记录数为单位进行划分的方法，或按照其他关键字为标识划分的方法。

3.如权利要求1所述的大数据在线交互式查询方法，其特征在于，建立计算窗口与HDFS中存储的数据文件映射关系包括：根据计算窗口划分方法，顺序扫描存储于HDFS中的数据，得到每一个窗口中对应的数据，同时计算每一个窗口包含数据大小的偏移量，根据计算所得的结果生成计算窗口映射表。

4.如权利要求3所述的大数据在线交互式查询方法，其特征在于，所述计算窗口映射表的数据结构为Hash表结构，其中Key值为窗口编号，Value值为该窗口包含数据大小偏移量，通过该结构，表明了每个窗口与该窗口包含数据大小偏移量的对应关系。

5.如权利要求1所述的大数据在线交互式查询方法，其特征在于，修改Map Reduce框架下数据获取方式，使得Reduce端实时返回每个计算窗口内的计算结果，包括：将待处理数据按照所述计算窗口映射表进行分片，每个数据片交付一个Map进行操作，每一个Map在执行完其所有操作后，在Job Tracker的调度下，推向Reduce端，Reduce立即对这一部分数据进行处理并返回结果。

6.如权利要求5所述的大数据在线交互式查询方法，其特征在于，分片的方法包括：首先获得HDFS中待处理数据的总大小，读取计算窗口映射表，每读取一条数据的同时，计算该条数据的偏移量大小，并将该偏移量大小累加，当读入数据的偏移量大小与窗口映射表中的数据偏移量一致的时候，作为一个数据片。

7.如权利要求5所述的大数据在线交互式查询方法，其特征在于，Job Tracker为每个Map分配任务，每个Map执行一个数据片的数据，将执行完的数据缓存至内存中设定好的一个缓存区，TaskTracker计算轮询的时间周期，按照时间周期查询该缓存区是否有Map提交的处理后的数据，若缓存区数据大小达到阈值，则Reduce将这部分数据取走并处理，并将处理的结果立即返回。

8.一种大数据在线交互式查询系统，包括：

计算窗口划分单元：用于提供用户计算窗口定义功能；

映射表构建单元：用于把用户定义的计算窗口转化为MapReduce框架可识别的“文件名+数据偏移量”的表达形式的计算窗口映射表；

分片计算单元，用于根据计算窗口映射表读取HDFS中的文件分块，每个窗口作为一个分片数据，读入Map端，开始执行Map和Reduce函数计算过程；

数据处理单元，用于在Map端读入每个数据分片进行处理，并将Map端处理后的数据利用推模式，实施推送到Reduce端开始执行，在Reduce端执行完Reduce函数以后，立即返回计算结果。