[发明专利]基于大数据分析的采集噪声点挖掘方法及大数据采集系统

说明书

本申请实施例提供一种基于大数据分析的采集噪声点挖掘方法及大数据采集系统，通过挖掘多个训练冗余反馈数据节点中的各训练冗余反馈数据节点的冗余采集字段以及训练源数据采集轨迹所覆盖的样本采集路由空间，而后逐一挖掘样本采集路由空间中的各样本采集路由节点的样本采集路由字段，然后结合多个训练冗余反馈数据节点的冗余采集字段和样本采集路由空间的样本采集路由字段，确定与训练源数据采集轨迹相关的采集噪声点以及与采集噪声点相关的多个连通采集噪声点，由此结合冗余采集反馈流程以及样本采集路由流程，追溯采集噪声点进行后续的大数据采集流程优化，由此提高大数据采集流程优化的可靠性。

技术领域

本申请涉及大数据采集技术领域，具体而言，涉及一种基于大数据分析的采集噪声点挖掘方法及大数据采集系统。

背景技术

随着人工智能技术的发展，基于人工智能模型进行训练样本数据的学习，以应用于相关的线上业务需求中。基于此，需要进行大量的训练样本数据的收集，这些训练样本数据的收集需要进行广泛的大数据，并且训练样本数据的可靠性也关乎到训练学习的可靠性。相关技术中，由于采集噪声点的存在，可能导致一些训练冗余反馈数据节点的产生。目前的噪声点挖掘方法中，主要是基于简单的预设字段规则进行筛选，难以有效且合理挖掘采集噪声点进行大数据采集流程优化，影响大数据采集流程优化的可靠性，由此影响最终的样本学习和训练效果。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的在于提供一种基于大数据分析的采集噪声点挖掘方法及大数据采集系统。

第一方面，本申请提供一种基于大数据分析的采集噪声点挖掘方法，应用于大数据采集系统，所述方法包括：

结合AI训练服务器下发的AI训练任务所请求的大数据采集流程的训练源数据采集轨迹从训练冗余反馈流程中确定多个训练冗余反馈数据节点，而后解析出所述多个训练冗余反馈数据节点中的各训练冗余反馈数据节点的冗余采集字段；

挖掘所述训练源数据采集轨迹所覆盖的样本采集路由空间，而后逐一挖掘所述样本采集路由空间中的各样本采集路由节点的样本采集路由字段；

结合所述多个训练冗余反馈数据节点的冗余采集字段和所述样本采集路由空间的样本采集路由字段，确定与所述训练源数据采集轨迹相关的采集噪声点以及与所述采集噪声点相关的多个连通采集噪声点，并结合所述采集噪声点以及与所述采集噪声点相关的多个连通采集噪声点对所述AI训练服务器进行大数据采集流程优化。

第二方面，本申请实施例还提供一种基于大数据分析的采集噪声点挖掘系统，所述基于大数据分析的采集噪声点挖掘系统包括大数据采集系统以及与所述大数据采集系统通信连接的多个AI训练服务器；

所述大数据采集系统，用于：

结合AI训练服务器下发的AI训练任务所请求的大数据采集流程的训练源数据采集轨迹从训练冗余反馈流程中确定多个训练冗余反馈数据节点，而后解析出所述多个训练冗余反馈数据节点中的各训练冗余反馈数据节点的冗余采集字段；

挖掘所述训练源数据采集轨迹所覆盖的样本采集路由空间，而后逐一挖掘所述样本采集路由空间中的各样本采集路由节点的样本采集路由字段；

结合所述多个训练冗余反馈数据节点的冗余采集字段和所述样本采集路由空间的样本采集路由字段，确定与所述训练源数据采集轨迹相关的采集噪声点以及与所述采集噪声点相关的多个连通采集噪声点，并结合所述采集噪声点以及与所述采集噪声点相关的多个连通采集噪声点对所述AI训练服务器进行大数据采集流程优化。

第三方面，本申请实施例还提供一种大数据采集系统，所述大数据采集系统包括处理器和机器可读存储介质，所述机器可读存储介质中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现以上任意一方面所述的基于大数据分析的采集噪声点挖掘方法。