[发明专利]基于多线程内存分配和上下文调度的数据处理方法及系统

说明书

本发明公开了基于多线程内存分配和上下文调度的数据处理方法及系统，包括：对待处理的业务代码分别做抽象化包装，包装成对应的协程任务；根据协程任务的类型，对协程任务进行调度处理：如果协程任务为单个协程任务或者为多个无相关的协程任务，则基于用户态实现的任务调度算法并行执行；其中，在并行执行的过程中，采用多线程下的内存动态分配策略对内存进行分配；如果协程任务为多个相关联的协程任务，则根据happen before法则，单次或多次投递到多生产者多消费者队列，通过多生产者多消费者队列完成协程任务的处理，并根据调度情况进行多线程并行处理；将协程任务的处理结果通过数据的形式进行可视化。

技术领域

本申请涉及多线程任务处理技术领域，特别是涉及基于多线程内存分配和上下文调度的数据处理方法及系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

众所周知，使用编程语言C/C++开发出来的程序，可以拥有更快的运行速度，更低的硬件资源占用。为了追求极致运行速度，多线程下的并行编程被C/C++程序员广泛使用。同时，在极致的运行速度下，为了追求逻辑一致性，并行编程带来了严重的心智负担。可以说，稍有考虑不慎，就会带来严重的错误。

编程语言Golang的出现，从编程语言角度解决了并行编程带来的心智负担，但其运行速度、资源占用远达不到C/C++水准，且无法在龙芯mips、申威sw_64芯片平台下使用。

发明内容

为了解决现有技术的不足，本申请提供了基于多线程内存分配和上下文调度的数据处理方法及系统；

第一方面，本申请提供了基于多线程内存分配和上下文调度的数据处理方法；

基于多线程内存分配和上下文调度的数据处理方法，包括：

对待处理的业务代码分别做抽象化包装，包装成对应的协程任务；

根据协程任务的类型，对协程任务进行调度处理：如果协程任务为单个协程任务或者为多个无相关的协程任务，则基于用户态实现的任务调度算法并行执行；其中，在并行执行的过程中，采用多线程下的内存动态分配策略对内存进行分配；如果协程任务为多个相关联的协程任务，则根据happen before法则，单次或多次投递到多生产者多消费者队列，通过多生产者多消费者队列完成协程任务的处理，并根据调度情况进行多线程并行处理；

将协程任务的处理结果通过数据的形式进行可视化。

第二方面，本申请提供了基于多线程内存分配和上下文调度的数据处理系统；

基于多线程内存分配和上下文调度的数据处理系统，包括：

包装模块，其被配置为：对待处理的业务代码分别做抽象化包装，包装成对应的协程任务；

调度处理模块，其被配置为：根据协程任务的类型，对协程任务进行调度处理：如果协程任务为单个协程任务或者为多个无相关的协程任务，则基于用户态实现的任务调度算法并行执行；其中，在并行执行的过程中，采用多线程下的内存动态分配策略对内存进行分配；如果协程任务为多个相关联的协程任务，则根据happen before法则，单次或多次投递到多生产者多消费者队列，通过多生产者多消费者队列完成协程任务的处理，并根据调度情况进行多线程并行处理；

可视化模块，其被配置为：将协程任务的处理结果通过数据的形式进行可视化。

与现有技术相比，本申请的有益效果是：

1.适用于多芯片架构平台(普通x86、龙芯、兆芯、飞腾、申威)的多系统平台(Windows、Linux、OSX)。

2.高性能，如在网络编程中使用可轻松实现单机百万、千万级接入。

3.依赖少，只依赖于boost::context。