[发明专利]一种数据收集方法及装置、电子设备、存储介质

说明书

本发明实施例公开一种数据收集方法及装置、电子设备、存储介质，涉及计算机技术领域，能够有效提高数据收集接口的开发效率。所述方法包括：接收数据收集请求，数据收集请求中携带用于保存被收集数据的目标数据表的数据表标识；根据数据表标识以及预先建立的动态创建类，创建与目标数据表对应的数据持久化模型类以及序列化器类，其中，所述序列化器类用于将接收到的所述被收集数据由第一格式转换为第二格式，得到格式转换数据，所述数据持久化模型类用于将所述格式转换数据保存于所述目标数据表中；基于所述数据持久化模型类以及所述序列化器类，将接收到的所述被收集数据存入所述目标数据表。本发明适用于数据的收集。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据收集方法及装置、电子设备、存储介质。

背景技术

随着大数据和人工智能技术的发展，针对不同用户的各种个性化、多样化服务层出不穷。为了能够更好地针对不同用户提供更好的服务，常常需要收集很多相关的用户数据，并基于这些用户数据进行相应的处理分析，例如购物网站服务器可以收集不同用户的商品浏览信息、购物信息等，以便向用户推荐其所需商品。

相关技术中的用户数据收集，通常是研发工程师根据每一个需要数据收集的具体业务场景，开发出与该业务场景对应的数据收集接口。当业务场景变换时，就要重新开发对应的数据收集接口，因此，工程师会浪费很多时间在接口开发上，大大降低了开发效率。

发明内容

有鉴于此，本发明实施例提供一种数据收集方法及装置、电子设备、存储介质，能够有效提高数据收集接口的开发效率。

第一方面，本发明实施例提供一种数据收集方法，包括：

接收数据收集请求，所述数据收集请求中携带用于保存被收集数据的目标数据表的数据表标识；

根据所述数据表标识以及预先建立的动态创建类，创建与所述目标数据表对应的数据持久化模型类以及序列化器类，其中，所述序列化器类用于将接收到的所述被收集数据由第一格式转换为第二格式，得到格式转换数据，所述数据持久化模型类用于将所述格式转换数据保存于所述目标数据表中；

基于所述数据持久化模型类以及所述序列化器类，将接收到的所述被收集数据存入所述目标数据表。

可选的，所述根据所述数据表标识以及预先建立的动态创建类，创建与所述目标数据表对应的数据持久化模型类以及序列化器类包括：

所述动态创建类的实例化对象，根据所述数据表标识获取所述目标数据表的数据结构信息；

所述动态创建类的实例化对象，根据所述数据结构信息，创建所述数据持久化模型类以及所述序列化器类。

可选的，所述动态创建类的实例化对象，根据所述数据结构信息，创建所述数据持久化模型类以及所述序列化器类之前，所述方法还包括：

所述动态创建类的实例化对象，根据所述数据表标识，获取目标数据表的拆分规则信息和数据对应关系信息；

所述动态创建类的实例化对象，根据拆分规则信息创建拆分规则类，根据所述数据对应关系信息创建数据对应关系类，以根据所述拆分规则类和所述数据对应关系类对所述目标数据表进行拆分；

所述基于所述数据持久化模型类以及所述序列化器类，将接收到的所述被收集数据存入所述目标数据表包括：基于所述数据持久化模型类、所述拆分规则类、所述数据对应关系类以及所述序列化器类，将接收到的所述被收集数据存入所述目标数据表。

可选的，所述根据所述拆分规则类和所述数据对应关系类对所述目标数据表进行拆分包括：

通过所述拆分规则类的实例化对象，将所述目标数据表按照预设拆分规则拆分为至少两个数据单位，所述数据单位包括数据分表和/或数据子库；