[发明专利]一种多节点任务异步协同处理方法

说明书

本发明涉及一种多节点任务异步协同处理方法，包括：多任务拆分并发处理；多线程并行处理；异步控制管理机制；针对私有云平台集群服务的特点，建立代码分析任务拆分、多节点并行处理、异步控制管理机制，形成多节点的任务协同处理能力，通过本发明，能够加快实现代码组成分析过程，使集群结构更加清晰，更容易理解。

技术领域

本发明涉及信息安全领域，尤其涉及一种多节点任务异步协同处理方法。

背景技术

随着信息化的发展，软件的复杂程度也逐渐增加，代码审计时需要进行组成分析的软件代码数据量十分庞大。为保证匹配识别准确度，存储的开源代码、第三方动态库、安全漏洞数据等知识需要全覆盖，用于识别匹配的知识库数据量达到6TBit以上。一般的个人电脑计算速度较慢，常规服务器无法提供大规模并行计算能力，一般的硬盘也难以满足多节点同时吞吐数据的要求，为了保证软件代码组成分析系统代码搜索匹配效率，项目采用具备服务器集群横向扩展能力的私有云计算平台。通过增加计算机或虚拟机来近乎线性地提高代码分析计算能力和海量代码数据存储能力，实现多节点的高并发处理，使代码搜索匹配效率随节点线性增加。

现阶段本领域的软件已有的成果是美国Black duck(黑鸭软件)，但并没有公开核心技术预处理过程与匹配方式。

Black duck是一款成熟软件，来自美国，这套软件在美国律师事务所、知识产权局、企业审计部门、软件承包商等单位广泛应用，并应用到其他国家的大型软件公司和企业审计单位。图1为Black duck架构的结构示意图。

Black duck是一款对源代码进行扫描、审计和代码管理的软件工具。软件分别有protex、Codecenter、和Export三个产品组成。其中：

Protex用于代码扫描、审计和管理，能够清楚的发现源代码中开源代码的使用情况，帮助用户清楚的了解已有代码中存在的风险(确认license 合规性/知识产权风险)。

Coed Center用于帮助用户在软件开发生命周期中寻找和管理使用有效的开源代码，并能够提示开源代码中是否存在安全漏洞问题。

Export能够帮助用户发现源代码中是否含有受到出口管制的加密算法。

HUB：支持二进制开源代码扫描，可以精确到开源代码的片段级扫描。

目前，Black duck已经成熟应用，占有源代码分析的全球主要用户群，但是由于美国贸易限制，这款软件的开源代码库不对中国销售，只能通过上传源代码文件或二进制文件，使用软件的在线检测服务进行软件组成扫描分析，存在保密和安全的问题，这对军用软件是不允许的，因此军用软件无法采用这套软件的服务进行代码组成分析。Black duck没有公开如何匹配方式、互联网上查询到相关的资料。

发明内容

为加快任务处理速度，本发明针对任务进行拆分，划分子任务，并将子任务进行分发，进行并行处理的方法。本发明的任务拆分并发处理机制由主进程(Master)、一个心跳进程(Heartbeat)和多个工作进程(worker) 组成。本发明的多线程并行处理技术使用线程池的方式，减少了计算节点开销，加快了分析速度。

根据本发明的一方面，提供了一种多任务并发处理方法，所述方法包括：采用多进程的模型对多代码分析处理任务进行拆分处理，创建子进程完成任务处理，如状态监控数据查询，备份或恢复进度查询，日志查询等。通过基于I/O多路复用的模型处理多任务的请求，可以达到高效的并发处理效果。项目采用的多进程模型和Epoll模型具体实现。

更具体地，在所述多节点任务异步协同处理方法中：多任务并发处理技术包括：由一个主进程(Master)、一个心跳进程(Heartbeat)和多个工作进程(worker)组成。Master进程监控和管理其他进程，负责处理网络事件。主进程与Heartbeat子进程通过管道来通信。流程如图3所示。