[发明专利]一种基于Flume的数据传输方法、系统、终端及存储介质

权利要求书

1.一种基于Flume的数据传输方法，其特征在于，包括：

S1、创建存放传输通道的队列，包括：待写入队列和写入成功队列；

S2、获取所有需要写入事件的传输通道并放入待写入队列；

S3、从待写入队列中顺序获取传输通道，逐一执行写入事件操作并进行监控操作结果：

若写入成功，则将写入成功的传输通道转移到写入成功队列；

若写入失败，则对当前操作的传输通道以及写入成功队列中的传输通道全部进行事务回滚操作；

S4、判断待写入队列是否为空：若是，在写入成功队列中依次获取传输通道，并逐一进行事务提交操作。

2.根据权利要求1所述的一种基于Flume的数据传输方法，其特征在于，所述方法还包括：

将进行事务回滚操作的所有传输通道重新放入待写入队列；

向数据源返回发送失败的结果，等待数据源重新向传输通道发送事件。

3.根据权利要求1所述的一种基于Flume的数据传输方法，其特征在于，所述存放传输通道事件的队列，还包括：提交成功队列。

4.根据权利要求3所述的一种基于Flume的数据传输方法，其特征在于，所述方法还包括：

将提交成功的传输通道放入提交成功队列中；

判断写入成功队列是否为空：若是，则向数据源返回提交成功的结果。

5.根据权利要求4所述的一种基于Flume的数据传输方法，其特征在于，在向数据源返回提交成功的结果之后，所述方法还包括：

数据源接收提交成功的结果；

数据源发送下一个事件到Flume，再次进行步骤S2。

6.一种基于Flume的数据传输系统，其特征在于，包括

队列创建单元，配置用于创建存放传输通道的队列，包括：待写入队列和写入成功队列；

通道获取单元，配置用于获取所有需要写入事件的传输通道并放入待写入队列；

事件写入单元，配置用于从待写入队列中顺序获取传输通道，逐一执行写入事件操作并进行监控操作结果：若写入成功，则将写入成功的传输通道转移到写入成功队列；若写入失败，则对当前操作的传输通道以及写入成功队列中的传输通道全部进行事务回滚操作；

事件提交单元，配置用于判断待写入队列是否为空：若是，在写入成功队列中依次获取传输通道，并逐一进行事务提交操作。

7.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-5任一项所述的方法。

8.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。