[发明专利]数据采集方法、装置、存储介质和计算设备

说明书

本公开的实施方式提供了一种数据采集方法、装置、存储介质和计算设备。包括：为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块，计算与所述表单组件和表单项子组件相关的操作事件的事件数据；将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源。如此可以提高数据采集效率。

技术领域

本公开的实施方式涉及计算机技术领域，更具体地，本公开的实施方式涉及一种数据采集方法、装置、存储介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

针对数据采集，一般可以采用埋点技术，即在页面中植入用于采集数据的代码，由该代码自动采集并上传页面中产生的数据。

现有的埋点技术可以分为手动埋点和自动埋点两大类型。手动埋点需要开发人员手动编写埋点代码并写到页面中，由于是人工操作因此存在埋点时间长、易出错、成本高等问题。而自动埋点无需手动编写代码程序会自动将全量采集代码植入页面，以实现自动化的埋点；但是，由于植入的代码是通用代码，其采集到的数据不一定是采集者实际需要的数据，因此自动埋点存在无法满足个性化采集的需求。

发明内容

在本公开提供了一种数据采集及数据处理的方法、装置、存储介质和计算设备。

在本公开实施方式的第一方面中，提供了一种数据采集方法包括：

为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；

基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；

根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块，计算与所述表单组件和表单项子组件相关的操作事件的事件数据；

将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源。

可选的，还包括：

利用所述数据采集SDK提供的事件封装接口，封装与所述表单组件和表单项子组件相关的操作事件。

可选的，所述日志SDK将事件存储模块中存储的事件数据上传到指定数据源，包括：

日志SDK根据指定数据源的数据标准，将所述事件存储模块中存储的事件数据转换为符合所述数据标准的标准事件数据后上传到所述数据源。

可选的，所述计算与所述表单组件和表单项子组件相关的操作事件的事件数据，包括：

计算与所述表单组件相关的操作事件的表单指标，和计算与所述表单项子组件相关的操作事件的表单项指标。

可选的，所述将所述事件数据存储到所述数据采集SDK的事件存储模块中，包括：

将表单指标存储到所述数据采集SDK的事件存储模块中的第一字段下；

将表单项指标存储到所述数据采集SDK的事件存储模块中的第二字段下。

可选的，还包括：

接收所述指定数据源返回的指令；其中，所述指令为与基于所述事件数据进行操作行为分析的分析结果对应的指令；