[发明专利]数据采集优化方法、装置、设备及可读存储介质

摘要

本发明涉及大数据技术领域，公开了一种数据采集优化方法，包括以下步骤：定时将用户行为日志文件发送至用于收集数据的云存储空间的子云存储空间；遍历子云存储空间的用户行为日志文件中的用户行为数据，并对遍历到的所述用户行为数据可占用的存储空间进行统计，得到用户行为数据占用存储空间的大小；计算所述用户行为数据占用存储空间大小的方差；判断所述方差是否大于预设阈值；若是，则采用加权轮询算法调整所述子云存储空间的数据收集频率，直至所述方差小于或等于预设阈值。本发明还公开了一种数据采集优化装置、设备及计算机可读存储介质。本发明提供的数据采集优化方法解决现有技术中存储空间利用率低的技术问题，提高了存储空间利用率。