[发明专利]数据处理方法及装置

说明书

本申请公开了一种数据处理方法及装置。其中，该方法包括：获取输入数据流，其中，输入数据流携带有状态标识，状态标识用于标识输入数据流的状态；检测状态标识是否为第一预设状态标识；如果检测出状态标识为第一预设状态标识，则将输入数据流发送至第一数据处理模块；以及通过第一数据处理模块对输入数据流执行数据处理，得到输出数据流。通过本申请，解决了相关技术中数据处理方法的复用性较差的技术问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据处理方法及装置。

背景技术

随着互联网技术的深度应用，高并发的大数据量处理已然成为企业的关键技术之一。对于目前的多线程技术，由于实现方法的复杂性，使得其并发的相关处理逻辑极易入侵业务处理过程，从而造成业务逻辑与并发逻辑的强耦合，导致该方法的复用性被弱化。由于需要投入大量的精力处理并发问题，导致开发者无法聚焦业务本身，大大降低了数据处理效率。另外，对于业务逻辑和并发逻辑冗余度很高的数据同步伺服程序，难以进行优化，并且随着其他平台的接入维护的成本也会不断激增。

在相关技术中，TPL Dataflow是面向高并发应用和高性能而推出的一个类库。借助于异步消息传递与管道，它可以提供比线程池更好的控制，也比手工线程方式具备更好的性能，可以满足多种应用场景。但是，该方案具有以下缺陷：

(1)入侵性。该技术屏蔽了诸多多线程细节，同时新的框架引入了新的规范，逻辑处理中很难不通过业务抽象来规避其入侵性，而业务过度抽象又导致复用性降低，从而分散开发者的关注度。

(2)耦合性高。容易对其产生依赖和耦合，程序升级与业务规模成正比，难以实现。

针对相关技术中数据处理逻辑的复用性较差的技术问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据处理方法及装置，以至少解决相关技术中数据处理方法的复用性较差的技术问题。

根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取输入数据流，其中，输入数据流携带有状态标识，状态标识用于标识输入数据流的状态；检测状态标识是否为第一预设状态标识；如果检测出状态标识为第一预设状态标识，则将输入数据流发送至第一数据处理模块；以及通过第一数据处理模块对输入数据流执行数据处理，得到输出数据流。

进一步地，第一预设状态标识包括以下任意一种状态标识：可用状态标识和忽略状态标识，其中，如果检测出状态标识为可用状态标识，则通过第一数据处理模块对输入数据流执行数据处理包括：通过第一数据处理模块对输入数据流执行第一预设数据处理，如果检测出状态标识为忽略状态标识，则通过第一数据处理模块对输入数据流执行数据处理包括：第一数据处理模块默认对输入数据流不执行数据处理。

进一步地，通过以下方式生成输入数据流：接收查询请求；根据查询请求获取元数据；将元数据发送至第二数据处理模块以执行数据处理，得到第一子输入数据流；检测第一子输入数据流的状态，得到检测结果；根据检测结果生成状态标识；以及根据第一子输入数据流和状态标识生成输入数据流。

进一步地，将元数据发送至第二数据处理模块以执行数据处理，得到第一子输入数据流包括：利用第二数据处理模块对元数据执行数据处理，得到第二子输入数据流；获取元数据的引用；以及根据第二子输入数据流和元数据的引用生成第一子输入数据流。

进一步地，在获取输入数据流之后，该方法还包括：检测状态标识是否为第二预设状态标识，其中，第二预设状态标识用于标识输入数据流为损坏的数据，其中，如果检测出状态标识为第二预设状态标识，则根据元数据的引用追溯元数据。

进一步地，通过以下方式生成输入数据流：接收查询请求；以及根据查询请求获取元数据，并将元数据作为输入数据流，其中，输入数据流的状态标识默认为可用状态标识，通过第一数据处理模块对输入数据流执行数据处理包括：通过第一数据处理模块对输入数据流执行第一预设数据处理。