[发明专利]一种高吞吐量流处理方法及装置

权利要求书

1.一种高吞吐量流处理方法，包括：数据接收线程判断当前数据内存缓存的剩余缓存空间是否大于预设阈值，若是，则将接收到的数据缓存到所述内存缓存中，否则，将接收到的数据保存到本地硬盘；

数据处理线程从所述内存缓存中获取数据，对获取到的数据进行计算处理。

2.如权利要求1所述的高吞吐量流处理方法，其特征在于，还包括：构建bolt模型，所述bolt模型包括：数据接收bolt模型，数据处理bolt模型，数据发送bolt模型；所述数据接收bolt模型用于接收数据发送bolt模型发送的数据消息，所述数据处理bolt模型用于从数据接收bolt模型中获取数据，并进行计算处理；

根据构建的bolt模型建立线程池，所述线程池包括：数据接收线程、数据处理线程、数据发送线程；所述数据接收线程用于接收数据发送线程发送数据消息，所述数据处理线程用于从所述数据接收线程中获取数据进行计算处理；

按照预设比例配置所述数据接收线程和所述数据处理线程的比例。

3.如权利要求2所述的高吞吐量流处理方法，其特征在于，所述数据发送线程利用spout从实时队列获取数据，并根据规则将获取到的数据发送给数据接收线程。

4.如权利要求3所述的高吞吐量流处理方法，其特征在于，所述数据接收线程将接收到的数据按照预设的规则进行分组后，判断当前数据内存缓存的剩余缓存空间是否大于预设阈值，若是，则将接收到的数据插入到所述内存缓存的数据列表中，否则，将接收到的数据保存到本地硬盘中。

5.如权利要求4所述的高吞吐量流处理方法，其特征在于，所述数据接收线程动态计算接收到的数据需要处理的时间，根据计算出的数据处理时间动态调整数据缓存的粒度。

6.如权利要求5所述的高吞吐量流处理方法，其特征在于，所述数据接收线程实时扫描所述本地硬盘和所述内存缓存中的数据缓存情况，若所述本地硬盘中存在数据，所述内存缓存的剩余缓存空间大于预设阈值，则将所述本地硬盘中的数据缓存到内存缓存中。

7.如权利要求1-6任一项所述的高吞吐量流处理方法，其特征在于，所述数据处理线程从所述内存缓存中获取数据，对获取到的数据进行计算处理包括：

所述数据处理线程根据预设时间间隔从所述内存缓存中获取一组tuple数据进行计算处理。

8.如权利要求7所述的高吞吐量流处理方法，其特征在于，若所述数据处理线程未从所述内存缓存中获取到数据，则进入预设时间的睡眠状态。

9.一种高吞吐量流处理装置，包括：数据接收模块，数据处理模块；

所述数据接收模块，用于接收数据并判断当前数据内存缓存的剩余缓存空间是否大于预设阈值，若是，则将接收到的数据缓存到所述内存缓存中，否则，将接收到的数据保存到本地硬盘中。

所述数据处理模块，用于从所述内存缓存中获取数据，并对获取到的数据进行计算处理。

10.如权利要求9所述的高吞吐量流处理装置，其特征在于，还包括：创建模块，所述创建模块用于构建bolt模型；所述bolt模型包括：数据接收bolt模型，数据处理bolt模型，数据发送bolt模型；所述数据接收bolt模型用于接收数据发送bolt模型发送的数据消息，所述数据处理bolt模型用于从数据接收bolt模型中获取数据，并进行计算处理；

所述创建模块还用于根据构建的bolt模型建立线程池，所述线程池包括：数据接收线程、数据处理线程、数据发送线程；所述数据接收线程用于接收数据发送线程发送数据消息，所述数据处理线程用于从所述数据接收线程中获取数据进行计算处理；

配置模块，所述配置模块用于根据预设比例配置所述数据接收线程和所述数据处理线程的比例。

11.如权利要求10所述的高吞吐量流处理装置，其特征在于，所述数据发送线程利用spout从实时队列获取数据，并根据规则将获取到的数据发送给数据接收线程。