[发明专利]一种支持局部性表达函数的大数据处理方法和系统

权利要求书

1.一种支持局部性表达函数的大数据处理方法，其特征在于，包括以下步骤：

1)发掘大数据处理系统中所处理的数据的局部性，形成局部性表达函数；

2)将局部性表达函数部署在大数据处理系统中；

3)大数据处理系统按照局部性表达函数分配工作任务。

2.如权利要求1所述的方法，其特征在于，所述大数据处理系统采用分布式存储方式或集中式存储方式；所述局部性表达函数在在大数据处理系统中的部署方式分为两种类型：内置式冷启动模式、外置式热插拔模式。

3.如权利要求2所述的方法，其特征在于，对于采用内置式冷启动模式的局部性表达函数的分布式存储的大数据处理系统，主控节点在开始启动任务时将局部性表达函数发送到各个从节点，指定在从节点应该如何计算局部性表达函数，同时主控节点接收各个从节点发来的局部性函数值，来决定数据在不同从节点之间的移动。

4.如权利要求3所述的方法，其特征在于，如果配置了迭代阈值或者迭代次数，则局部性表达函数的值随着每次迭代计算而不同。

5.如权利要求2所述的方法，其特征在于，对于采用外置式热插拔模式的局部性表达函数的分布式存储的大数据处理系统，局部性表达函数通过外部的插件来部署，并在大数据处理系统内部提供一个可供外部调用的API，外部能够自由编写具体的局部性表达函数和指定的操作。

6.如权利要求5所述的方法，其特征在于，外部的插件能够在任意时间开始运行和终止，从而实现热插拔；每个插件能够封装成相对独立的功能，以使多个不同的插件组合运行，并且互相之间共享计算的结果，从而增加插件的可复用性。

7.如权利要求2所述的方法，其特征在于，对于采用内置式冷启动模式的局部性表达函数的集中式存储的大数据处理系统，由主控节点将局部性表达函数发送到各个从节点，从节点通过计算后将结果通过计算网络发送到主节点，主节点再根据局部性表达函数中配置的策略，从管理网络发布具体的任务分配情况。

8.如权利要求2所述的方法，其特征在于，对于采用外置式热插拔模式的局部性表达函数的集中式存储的大数据处理系统，在管理网络中增加一个局部性表达函数管理机，该局部性表达函数管理机与主控节点交互，实现任务的分配。

9.一种支持局部性表达函数的大数据处理系统，其特征在于，包括大数据处理系统，所述大数据处理系统中部署局部性表达函数，所述大数据处理系统按照所述局部性表达函数分配工作任务。

10.如权利要求9所述的系统，其特征在于，所述大数据处理系统采用分布式存储方式或集中式存储方式；所述局部性表达函数在在大数据处理系统中的部署方式分为两种类型：内置式冷启动模式、外置式热插拔模式。