[发明专利]一种基于申威众核处理器的大数据张量典范分解计算方法

摘要

本发明涉及一种基于申威众核处理器的大数据张量典范分解计算方法，1)根据申威众核处理器的特征提出大数据计算方法swMR；2)swMR将申威众核处理器中以8*8网格形式组织的计算处理单元集群CPE分为32个CPE对，网格中每行相邻的两个为一组，其中一个CPE处理映射Map任务，另一个处理归约Reduce任务；3)按照每个CPE对的工作负载情况，在CPE对内进行映射归约Map/Reduce处理角色动态转换，实现动态调整工作负载；4)基于swMR和申威众核处理器，对张量典范分解计算提出了合理的计算方法swTensor。本发明支持机器学习算法以及张量典范分解计算在申威处理器上的实现；通过动态划分工作负载，平衡CPE对内的作业分发情况；基于映射归约MapReduce编程模型，swTensor高效支持张量典范分解计算。

主权项

1.一种基于申威众核处理器的大数据张量典范分解计算方法，其特征在于，包括以下步骤：步骤1：映射归约MapReduce应用程序在管理处理单元(Management Processor Element，简称MPE)端启动，由用户指定均衡度阈值thres和任务划分比例β，用于动态调整映射归约MapReduce工作的负载；步骤2：在步骤1的基础上，在CPE上进行张量典范分解，求解因子矩阵A，其中X₍₁₎代表张量X模一展开矩阵，A、B和C代表最后分解出来的因子矩阵，符号⊙代表Khatri‑Rao积操作，T代表矩阵的转置操作，*代表矩阵的Hadamard积，代表矩阵的伪逆，使用最小交替二乘算法ALS(Alternating Least Square)，对求解计算因子矩阵中涉及Khatri‑Rao积操作的因子矩阵进行数据分块；步骤3：CPE集群对张量典范分解中最小交替二乘算法中的X₍₁₎进行数据分块；步骤4：根据张量典范分解计算的映射归约MapReduce算法，将求解因子矩阵的计算任务通过运行时应用程序编程接口API加载到CPE集群中，计算张量典范分解任务，初始状态下，一个CPE对内负责映射Map工作的CPE称之为CPE A，负责归约Reduce工作的CPE称之为CPE B；步骤5：由于CPE的局部存储器空间有限，每次仅获取部分数据，即分块后的数据，获取到一块数据并计算，作为一轮计算；任务调度器在运行时期间记录每一轮数据处理的每个CPE对内两个CPE中的计算过程花费的时钟周期数，当任务调度器根据用户指定的均衡度阈值thres检测到CPE对中的工作负载不平衡时，若某CPE的计算时间与同一组中的CPE的计算时间的差值的绝对值高于均衡度阈值thres时，则会在下一轮映射归约MapReduce工作中将组内另一CPE的部分工作由该CPE来承担，即将两个CPE中用于计算时间最少的那个CPE动态转化为组内另一CPE对应的处理角色，由此来改善CPE对内工作负载不均衡的情况；步骤6：当发生动态角色转换时，即一个CPE对内某个CPE转化处理角色时，一个CPE对内用于计算时间最少的那个CPE需要承担的由该CPE对内的另一个CPE其伙伴划分来的工作量；步骤7：若任务调度器在上一轮映射归约MapReduce处理过程中确定不均衡状态为映射Map任务执行时间与归约Reduce任务执行时间之差大于均衡度阈值thres时，任务调度器需要转换本轮处理任务中CPE B的处理角色为映射Map，并告知CPE B将要执行映射Map处理的数据的起始位置与结束位置；步骤8：若任务调度器在上一轮映射归约MapReduce处理过程中确定不均衡状态为归约Reduce任务执行时间与映射Map任务执行时间之差大于均衡度阈值thres时，任务调度器需要转换本轮处理任务中CPE A的处理角色为归约Reduce，并告知CPE A将要执行归约Reduce处理的数据的起始位置与结束位置；步骤9：若任务调度器在上一轮映射归约MapReduce处理过程中确定任务处于均衡状态时，任务调度器不需要对本轮数据处理转换CPE的处理角色；步骤10：重复步骤5至步骤9，直到计算因子矩阵A的任务完成；步骤11：根据求解因子矩阵B，对C⊙A进行数据分块，以及对X₍₂₎进行数据分块，并重复步骤4至步骤10；其中X₍₂₎是张量X的模2展开矩阵；步骤12：根据求解因子矩阵C，对B⊙A进行数据分块，以及对X₍₃₎进行数据分块，并重复步骤4至步骤10；X₍₃₎是张量X的模3展开矩阵；步骤13：若典范分解出来的因子矩阵A，B和C满足误差需求或达到最大迭代次数，则本次启动的映射归约MapReduce应用程序运行结束，反之重复步骤2至步骤12；最终完成张量分解任务，将张量X分解为因子矩阵A，B和C。