[发明专利]数据采集方法、装置、设备及计算机可读存储介质

说明书

本申请实施例提供了一种数据采集方法、装置、设备及计算机可读存储介质，该方法包括：获取待采集数据的业务类型；根据待采集数据的业务类型，确定数据采集接口的类型；根据数据采集接口的类型，确定与数据采集接口的类型对应的数据格式的类型，数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项；根据数据格式的类型，通过数据采集接口对待采集数据进行采集。该方法实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理，解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题，同时降低了后期的数据处理难度。

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种数据采集方法、装置、设备及计算机可读存储介质。

背景技术

现有技术中采集应用产品各个环节的数据用于进一步的分析和挖掘。由于用户操作应用产品的行为多种多样，现有的数据收集方式，每一种数据业务都设计了一种数据接入方式，造成了一个埋点可能需要写入多个业务接口，很容易造成数据混乱和冗余，加大后期的数据处理难度。数据格式多种多样，一种客户的操作行为对应一条单独的处理模式，大大加深数据处理复杂度和浪费资源成本；例如，每种行为以自己特定格式进行上传数据，后续的数据处理也将对每种行为的特定格式进行开发和优化，大大增加数据存储成本和后续数据开发处理的难度。

发明内容

本申请针对现有的方式的缺点，提出一种数据采集方法、装置、设备及计算机可读存储介质，用以解决数据采集接口多样化及数据采集格式多样化导致的数据混乱和冗余的问题。

第一方面，本申请提供了一种数据采集方法，包括：

获取待采集数据的业务类型；

根据待采集数据的业务类型，确定数据采集接口的类型；

根据数据采集接口的类型，确定与数据采集接口的类型对应的数据格式的类型，数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项；

根据数据格式的类型，通过数据采集接口对待采集数据进行采集。

可选地，根据待采集数据的业务类型，确定数据采集接口的类型，包括：

根据待采集数据的业务类型，确定数据采集接口的类型为初始化接口、登录接口、付费接口和自定义事件接口中的至少一项。

可选地，根据数据采集接口的类型，确定与数据采集接口的类型对应的数据格式的类型，包括以下至少一项：

根据初始化接口，确定与初始化接口对应的数据格式的类型为固定格式；

根据登录接口，确定与登录接口对应的数据格式的类型包括固定格式和基础格式；

根据付费接口，确定与付费接口对应的数据格式的类型包括固定格式、基础格式和消费格式；

根据自定义事件接口，确定与自定义事件接口对应的数据格式的类型包括固定格式、基础格式和自定义格式。

可选地，固定格式，包括以下至少一项：

数据格式版本号、消息标识ID、设备ID、客户端提交消息时间、服务端接收到消息的时间、上传消息设备的媒体访问控制MAC地址、iOS设备的定位标识IMEI、iOS设备的定位标识IDFA、iOS设备的定位标识IDFV、Android设备的定位标识androidID、Android设备的定位标识AdvertisingID、平台、游戏ID、渠道编号ID、用户ID、在线时长、上一个消息ID、数据分区、商城、包名、事件ID、消费、事件。

可选地，基础格式，包括以下至少一项：

游戏版本号、渠道编号ID、设备型号、系统版本、语言、网络类型、设备厂商、分辨率、年龄、性别、引擎、互联网协议IP地址。