[发明专利]数据收集集群的部署方法、装置、设备以及存储介质

权利要求书

1.一种数据收集集群的部署方法，其特征在于，所述方法包括：

将ScrapydWeb组件和Selenium组件封装在第一docker容器中以形成数据收集集群的主节点；

接收由用户上传的数据收集项目文件；所述数据收集项目文件为通用数据收集项目文件或者聚焦数据收集项目文件，其中，所述通用数据收集项目文件至少包括目标网站的统一资源定位系统和记录有目标数据在所述目标网站中的位置的位置信息，所述聚焦数据收集项目文件至少包括预设的数据收集程序，所述目标网站是指从节点将要进行授权数据抓取的网站，所述目标数据是指所述从节点将要从所述目标网站中抓取的授权数据；

将Scrapyd组件封装在第二docker容器中以形成所述数据收集集群中与所述数据收集项目文件对应的从节点；

将所述数据收集项目文件发送至所述数据收集项目文件对应的从节点，以完成所述数据收集集群的部署；

接收由用户输入的至少包括定时调度时刻的定时调度信息，基于所述定时调度信息调度从节点，以使所述从节点在定时调度时刻开始根据所述数据收集项目文件进行授权数据的收集；具体的，当所述数据收集项目文件为所述通用数据收集项目文件时，所述从节点用于根据所述位置信息和所述统一资源定位系统从所述目标网站中收集所述目标数据；当所述数据收集项目文件为所述聚焦数据收集项目文件时，所述从节点用于运行所述聚焦数据收集项目文件中包含的数据收集程序，以进行授权数据的抓取。

2.根据权利要求1所述的数据收集集群的部署方法，其特征在于，所述将所述数据收集项目文件发送至所述数据收集项目文件对应的从节点，以完成所述数据收集集群的部署之后，所述方法还包括：

接收由所述从节点上传的数据收集日志；

检测所述数据收集日志中是否存在目标关键词，其中，所述目标关键词是指预设的关键词集合中的任意一个关键词；

当检测出所述数据收集日志中存在所述目标关键词时，向所述用户发出警告提示。

3.根据权利要求2所述的数据收集集群的部署方法，其特征在于，在检测出所述数据收集日志中存在所述目标关键词之后，所述向所述用户发出警告提示之前，所述方法还包括：

判断所述数据收集日志是否满足预设的警告条件；

当所述数据收集日志满足所述警告条件时，触发执行所述的向所述用户发出警告提示的步骤。

4.根据权利要求3所述的数据收集集群的部署方法，其特征在于，所述关键词集合中的每一个关键词均预设有对应的警告次数阈值；

以及，所述判断所述数据收集日志是否满足预设的警告条件，包括：

确定每一个所述目标关键词在所述数据收集日志中出现的出现次数；

判断所述数据收集日志中是否存在次数警告关键词，其中，所述次数警告关键词是指所对应的出现次数大于所对应的警告次数阈值的目标关键词；

当所述数据收集日志中存在所述次数警告关键词时，确定所述数据收集日志满足预设的警告条件；

当所述数据收集日志中不存在所述次数警告关键词时，确定所述数据收集日志不满足所述警告条件。

5.根据权利要求4所述的数据收集集群的部署方法，其特征在于，所述关键词集合中的每一个关键词均预设有对应的警告时间段；

以及，在判断出所述数据收集日志中存在所述次数警告关键词之后，所述确定所述数据收集日志满足预设的警告条件之前，所述方法还包括：

确定所述次数警告关键词在所述数据收集日志中出现的出现时刻；

判断所述次数警告关键词对应的出现时刻是否在所述次数警告关键词对应的警告时间段内；

当所述次数警告关键词对应的出现时刻在所述次数警告关键词对应的警告时间段内时，触发执行所述的确定所述数据收集日志满足预设的警告条件的步骤；

当所述次数警告关键词对应的出现时刻不在所述次数警告关键词对应的警告时间段内时，触发执行所述的确定所述数据收集日志不满足所述警告条件的步骤。