[发明专利]面向推荐系统矩阵分解方法的异构多XPU机器学习系统

说明书

本发明公开了面向推荐系统矩阵分解方法的异构多XPU机器学习系统，包括参数服务器和与其连接的一组XPU工作器，所述的参数服务器用于数据加载、数据分配，以及矩阵分解算法中参数分发、参数接收和参数更新，XPU工作器用于参数计算和局部更新，参数服务器包括DataManager模块，用于根据XPU工作器的性能计算并提供数据划分信息，XPU工作器包括异步SGD优化器。异构系统的数据采用一级分配，内部共享同一数据锁，当XPU规模变大时，锁开销加剧影响系统性能，利用XPU工作器的异步SGD优化器，使得XPU工作器之间相互无锁，XPU工作器内部独立进行数据分块和调度。

技术领域

本发明涉及多异构处理器的协同计算技术领域，是一个面向推荐系统矩阵分解方法的异构多XPU机器学习系统。

背景技术

在推荐系统中，协同过滤（Collaborative Filtering）技术是一种应用非常广泛的技术，其核心思想是，用户在过去一个时间邻域内对某个商品感兴趣，那么在将来的一个时间邻域内同样也会感兴趣。矩阵分解（Matrix Factorization，MF）就是一种基于模型的协同过滤技术。

但当前的MF算法通常针对同构处理器或者小规模异构处理器优化。如多核CPU上的并行MF算法：HogWild!、DSGD、FPSGD、MLGF-MF等，GPU上的并行MF算法：cuMF_SGD，CPU-GPU上的并行MF算法：HSGD。当前的优化方法中，同构处理器优化忽略了系统中其他计算资源的存在，硬件资源利用率较低。而小规模异构处理器优化则仅仅只考虑了1个CPU和1个GPU的情况。在小规模情况下，通过数学证明和反复实验发现，通信开销远远低于计算开销，不影响系统性能。然而，整体系统存在总线抢占和总线上串行传输的问题，使得系统的通信开销与异构系统中XPU的个数正相关。为了应对更大的数据集，例如HugeWiki数据集超过30GB，或者更多的任务，一个计算节点可能拥有多个CPU/GPU/FPGA等。当系统内部增加更多XPU时，各异构处理器间的通信直接制约扩展性。因此，从系统的角度来看，在大规模XPU系统中，并行MF算法不仅仅要考虑任务划分和并行计算，还需要考虑系统中XPU的通信结构和通信效率。

发明内容

为解决现有技术的不足，实现任务划分、并行计算的同时，保证通信效率的目的，本发明采用如下的技术方案：

面向推荐系统矩阵分解方法的异构多XPU机器学习系统，包括参数服务器和与其连接的一组XPU工作器，所述的参数服务器用于数据加载、数据分配，以及矩阵分解算法中参数分发、参数接收和参数更新，XPU工作器用于参数计算和局部更新，参数服务器包括DataManager模块，用于根据XPU工作器的性能计算并提供数据划分信息，XPU工作器包括异步SGD优化器。异构系统的数据分配方法通常采用一级分配，即由一端负责全局数据分块，这使得系统内部共享同一数据锁，当XPU规模变大时，锁开销加剧，系统性能下降，因此利用XPU工作器的异步SGD优化器，使得参数服务器按XPU工作器的能力进行一次数据的全局静态分配，XPU工作器之间是相互无锁的，XPU工作器内部独立进行数据分块和调度。

所述的XPU工作器包括多核CPU工作器和GPU/FPGA工作器，CPU工作器分别与参数服务器和GPU/FPGA工作器连接。系统采用二级异构并行结构：XPU工作器级和XPU工作器内部多线程级，对于多核CPU，可以直接在相关进程中按照CPU核数启动多线程，即CPU中的XPUTask；对于GPU，由所在管理CPU提供进程，并在进程中启动CUDA/OpenCL核函数，即GPU中的XPU Task；对于FPGA，由所在管理CPU提供进程，并在进程中启动OpenCL核函数，即FPGA中的XPU Task。