[发明专利]一种服务器资源调度方法及系统

说明书

本发明公开了一种服务器资源调度方法及系统，所述资源调度方法包括如下步骤：将服务器中的节点划分为任务调度节点和任务执行节点，建立任务调度集群和任务执行集群；任务调度集群对待执行任务进行分配，获得多个子任务，并分别将每个所述子任务加入到消息队列中；任务执行集群中的每个任务执行节点单独从所述消息队列中获取任务，并执行。本发明的任务调度集群和任务执行集群均分别作用于消息队列，利用消息队列作为中间件，任务调度集群和任务执行集群实现了生产者消费者工作模式，二者互不干扰，实现了服务器资源的合理调度，提高了网络检索的匹配精度。

技术领域

本发明涉及网络服务技术领域，特别是涉及一种服务器资源调度方法及系统。

背景技术

随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。根据麦肯锡全球研究院(MGI)出据的大数据分析报告可知大数据分析在零售业、制造业、互联网行业、公共体系建设等领域有很大的增长潜力。然而传统的通用搜索引擎(Search Engine)，比如Google、Yahoo和Alta Vista等获取的数据来源渠道众多，有门户网站、快讯、自媒体等等。各渠道的数据结构也不统一，这样便导致每一个任务都很个性化，需要做定制化处理来满足多种渠道非结构化数据的采集及存储，用来满足企业数据分析的需求，同时也对服务器资源的调配提出了更高的要求。

发明内容

本发明的目的是提供一种服务器资源调度方法及系统，以实现服务器资源的合理调度，提高网络检索的匹配精度。

为实现上述目的，本发明提供了如下方案：

本发明提供一种服务器资源调度方法，所述资源调度方法包括如下步骤：

将服务器中的节点划分为任务调度节点和任务执行节点，建立任务调度集群和任务执行集群；

任务调度集群对待执行任务进行分配，获得多个子任务，并分别将每个所述子任务加入到消息队列中；

任务执行集群中的每个任务执行节点单独从所述消息队列中获取任务，并执行。

可选的，所述待执行任务为对采用网络爬虫方法获取的第一信息和第二信息进行匹配。

可选的，分别将每个所述子任务加入到消息队列中，具体包括：

以子任务中用于匹配的第一信息和第二信息的相关度为优先级，将每个所述子任务按照优先级从大到小的顺序加入到所述消息队列中。

可选的，所述任务调度集群对待执行任务进行分配，获得多个子任务，具体包括：

所述任务调度集群采用负载均衡策略对待执行任务进行分配，获得多个子任务。

可选的，所述任务执行集群中的每个任务执行节点单独从所述消息队列中获取任务，并执行，具体包括：

所述任务执行集群中的每个任务执行节点采用定时触发或周期性触发的方式从所述消息队列中获取任务，并执行。

一种服务器资源调度系统，所述资源调度系统包括：任务调度集群、数据库和任务执行集群；所述任务调度集群包括一个或多个任务调度节点，所述任务执行集群包括多个任务执行节点；

所述任务调度集群用于对待执行任务进行分配，获得多个子任务，并分别将每个所述子任务加入到消息队列中；所述数据库用于存储所述消息队列；

所述任务执行集群中的每个任务执行节点用于单独从所述消息队列中获取任务，并执行。

可选的，所述待执行任务为对采用网络爬虫技术获取的第一信息和第二信息进行匹配。