[发明专利]结合心跳和粒度的数据挖掘方法及装置

摘要

本发明涉及一种结合心跳和粒度的数据挖掘方法及装置，方法包括：第一节点获取第一数据集并将所述第一数据集输入到预设模型，对预设模型训练获得第一权重集；依据由粒度约束计算出的心跳频率，第一节点向第二节点发送心跳包后，接收所述第二节点发送的数据请求消息；第一节点根据数据请求消息，向第二节点发送第二数据集以及第一权重集，其中，第二数据集是根据第一数据集稀疏采样获得的；第一节点接收第二节点发送的根据第一权重集部分初始化后再训练的整体模型参数集，并根据整体模型参数集更新所述第一权重集，改善了广域网络环境下大规模数据挖掘的个性化和扩展性，提高了响应精度。

主权项

1.一种结合心跳和粒度的数据挖掘方法，其特征在于，所述方法包括：第一节点获取第一数据集并将所述第一数据集输入到预设模型，对所述预设模型训练获得第一权重集；依据由粒度约束计算出的心跳频率，所述第一节点向第二节点发送心跳包后，接收所述第二节点发送的数据请求消息；其中，利用公式判断所述预设模型是否满足粒度约束，当G大于1时，所述预设模型满足粒度约束；当G不大于1时，所述预设模型不满足粒度约束；其中，G为分布式深度学习系统的粒度；T_cal为在单机上进行模型计算的时间；T_com为在不同机器之间进行数据和参数传输的时间；所述第一节点根据所述数据请求消息，向所述第二节点发送第二数据集以及第一权重集，其中，所述第二数据集是根据所述第一数据集稀疏采样获得的；所述第一节点接收所述第二节点发送的根据所述第一权重集部分初始化后训练的整体模型参数集，并根据所述整体模型参数集更新所述第一权重集。