[发明专利]一种基于通道的双缓冲技术的实时数据流处理方法

说明书

本发明公开了一种基于通道的双缓冲技术的实时数据流处理方法，属于数据信息处理技术领域，通过开启两个并行的数据接收线程和数据处理线程，在数据接收线程接收到数据后，通过辅助标志位找到未被数据处理模块读取的数据通道pipe，数据接收模块将接收到的数据通过push方法构造成数据结构data Wrapper后，加入到数据通道pipe中，辅助标志位的指向改变为此时不为空的数据通道pipe，数据处理模块便读取辅助标志位此时指向的这个不为空的数据通道pipe，进行数据处理，本发明解决了现有数据流处理方法采用固定的长数组，当通道内数组满后容易阻塞数据通道，且容易造成空间浪费，以及数据接收和处理的吞吐量低的问题。

技术领域

本发明属于数据信息处理技术领域，特别涉及一种基于通道的双缓冲技术的实时数据流处理方法。

背景技术

随着4G网络的日趋成熟，各种多媒体应用如雨后春笋般涌现，但4G网络的覆盖并不完全尽如人意，从而可能会导致网速的大幅度波动。在多媒体应用，特别是实时数据收发的流媒体应用中，为了降低由于网速波动带来的接收数据不均等影响，必须提出一些响应的解决方案，其中最直接和最有效的方案之一就是使用缓冲技术。

目前现有的数据流处理方法大多是使用单通道缓冲技术解决网络忽快忽慢带来的数据处理问题，由于单通道缓冲技术是通过创建固定的数组，当通道内数组满后便容易阻塞通道，且数组分配空间后，即使不存储数据，也会占用该存储空间，造成了空间浪费，以及数据接收和处理的吞吐量低的问题。

发明内容

本发明的目的在于：提供了一种基于通道的双缓冲技术的实时数据流处理方法，解决了现有数据流处理方法采用单通道缓冲技术创建固定的数组，当通道内数组满后便容易阻塞通道，且数组分配空间后，即使不存储数据，也会占用该存储空间，因此造成的空间浪费，以及数据接收和处理的吞吐量低的问题。

本发明采用的技术方案如下：

一种基于通道的双缓冲技术的实时数据流处理方法，其特征在于，包括以下步骤：

步骤1：开启两个并行的数据接收线程和数据处理线程，创建n个数据通道pipe和一个记录正在被读取的数据通道pipe的辅助标志位，n≥2；

步骤2：根据步骤1，数据接收线程接收到数据后，若通过辅助标志位找到一个未被读取的数据通道pipe，则将接收到的数据加入到数据通道pipe中；

步骤3：根据步骤1，数据接收线程接收到数据后，若通过辅助标志位找到两个数据通道pipe，一个数据通道pipe为空，另一个数据通道pipe不为空，则将接收到的数据加入到空的数据通道pipe中，同时，辅助标志位的指向改变为不为空的数据通道pipe，此数据通道pipe中的数据进入数据处理线程。

进一步地，所述步骤1中创建n个数据通道pipe的具体步骤为：

步骤1.1：创建数据结构data Wrapper，所述数据结构data Wrapper包含存储具体数据信息的变量data和指向下一个数据结构data Wrapper存储地址的指针next DataPointer；

步骤1.2：创建数据通道pipe，所述数据通道pipe包含用于记录第一个数据结构data Wrapper存储地址的指针start Pointer和用于记录最后一个数据结构data Wrapper存储地址的end Pointer；

步骤1.3：在步骤1.2创建的数据通道pipe中创建三个方法函数，push方法、pop方法和empty方法，所述push方法用于向pipe中添加data Wrapper，所述pop方法用于从pipe中移除data Wrapper，所述empty方法用于判定pipe是否为空。

进一步地，所述步骤2中采用push方法将接收到的数据通过构造成数据结构dataWrapper后，加入到数据通道pipe中。