[发明专利]本地化数据亲和性系统和混合方法

说明书

相关申请的交叉参考

本申请要求于2010年5月17日提交的美国临时专利申请第61/395,704号以及于2011年4月8日提交的美国专利申请第13/083,396号的权益，这两者通过引用全部结合于此作为参考。

技术领域

本公开总体上涉及多处理器计算机系统，并且更具体地涉及用于在多处理器计算机系统中对数据进行路由和处理的方法和系统。

背景技术

多处理器计算机系统允许对多个并行处理进行同时处理。在多处理器计算机系统中，一些应用可以有效地在处理器中并行化。例如，可以通过将不同的任务划分为称为线程的子进程来并行化一些应用。线程可以同时对不同的数据进行操作。然而，有时一个线程需要基于另一线程的中间产物（intermediary）或最终输出来运行。当两个线程需要经常等候其中的另一个来共享信息时，可以说它们具有高数据相关性。相反地，当线程很少需要等候来自其他线程的信息时，可以说它们具有低数据相关性。通常希望在线程间具有低数据相关性的应用，这是因为它们可以并行地处理更多的数据达更长的时段。然而，大量的应用在线程间具有高数据相关性。例如，这可能在每个数据都必须与数据集中的各其他数据进行比较的情况下发生。因此，当数据相关性较高时，在存储器中可能需要相当大部分的数据集是可访问的。因此，对于具有高数据相关性的处理操作，在线程间传输数据的进程可能在很大程度上使计算延时。当每个线程都运行在物理分离的硬盘节点上时（这在多处理器计算机系统中是常见的），该延时通常会加剧。在这种系统中，节点间输入/输出（IO）操作经常会对系统的数据处理速率（也称为吞吐量）构成明显的瓶颈。存储器跳（memory hop）的范围从在使用在本地CPU/存储器组中的非均匀存储器架构（NUMA）时的仅1至2纳秒，到在通过多种网络光纤来访问存储区域网络时的多个毫秒。因为在存储器等待数据的传送时其通常是空闲的，所以吞吐量瓶颈可以表示对时间、能量和金钱的严重浪费。

图1示出了包括通过网络130彼此连接并且连接至共享存储器140的多个节点120的多处理器系统110。节点120可以是表征为分离的存储器系统的逻辑上分立的处理元件。在一些实现方式中，节点120可以是物理分立系统，诸如具有本地存储器存储和处理能力的服务器。在示出的系统110中，有N个节点120。虽然只示出了三个节点，但是可以存在任意数量的节点120。每个节点120都包括至少一个处理器150和缓存160。虽然只示出了一个处理器150，但是每个节点120都可以包括任意数量的处理器150。类似地，处理器150可以包括任意数量的存储器核心（memory storage，存储磁芯）。处理器核心表示存储器150中可以独立地读取和执行指令的那部分。因此，在一个示例中，两个处理器核心可以同时运行两个处理线程。在一些实现方式中，节点120可以包括总共四个处理器核心。在一些实现方式中，节点120可以包括总共八个以上的处理器核心。

诸如多处理器系统110的多处理器系统通常用于处理巨量数据的操作。例如，在2007年，峰值物理邮件量每年接近多于2120亿封的美国邮政服务（US Postal Service），是世界上最大的大量数据处理的用户之一。每封物理邮件都在自动化设备上处理多次，并且每次自动化事件都产生数据扫描记录。即使当物理邮件数量减少时，额外的跟踪和性能度量增加了每封物理邮件的邮件跟踪扫描的数量。因此，每天的邮件扫描量最多可以多于40亿个记录。这些记录中的每一个都由诸如系统110的多处理器系统处理。当处理邮件记录时，系统通过比较直到多个月之久的几十亿个早先记录来检测重复的记录。该系统也负责寻找最早的邮件记录并且在达到存储容量时将其删除，查询邮件记录用于生成报告以及其他类似的任务。这个示例说明了在诸如多处理器系统110的系统中有效处理数据记录的问题的重要性。