[发明专利]数据采集方法、装置、计算机设备和计算机可读存储介质

说明书

本发明提供了一种数据采集方法、装置、计算机设备和计算机可读存储介质。该数据采集方法应用于应用程序服务端，包括：接收应用程序客户端发送的资源请求；根据资源请求获取应用程序客户端对应的待传输的数据内容；根据待传输的数据内容生成数据记录；将数据记录发送至数据接收服务端。通过本发明，能够解决现有技术中服务端采集数据时影响客户端正常使用以及容易丢失数据的技术问题。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种数据采集方法、装置、计算机设备和计算机可读存储介质。

背景技术

随着显示屏技术、处理芯片技术以及互联网技术的发展，移动终端几乎在一瞬之间转变为互联网业务的关键入口和主要创新平台，互联网资源、移动网络资源与环境交互资源的最重要枢纽。现有技术中，通过对移动终端上操作行为和用户信息等数据进行研究，以不断提升移动终端使用的舒适度和便利性，其中，收集上述相关数据并上传到服务端，成为该类研究的基础。

发明人研究发现，目前将收集到的上述相关数据传输至服务端时，通常需要客户端将数据上报至服务端，由此会消耗客户端的流量，且占用客户端的资源，可能会影响客户端的正常使用。此外，客户端一般存在延时上报或者弱网环境不稳定，以及流量限制等问题，数据无法及时准确的进行上报，容易出现数据丢失。

发明内容

本发明的目的是提供一种数据采集方法、装置、计算机设备和计算机可读存储介质，用于解决现有技术中服务端采集数据时影响客户端正常使用以及容易丢失数据的技术问题。

一方面，为实现上述目的，本发明提供了一种数据采集方法。

该数据采集方法应用于应用程序服务端，包括：接收应用程序客户端发送的资源请求；根据资源请求获取应用程序客户端对应的待传输的数据内容；根据待传输的数据内容生成数据记录；将数据记录发送至数据接收服务端。

进一步地，当接收到多个应用程序客户端发送的资源请求时，将数据记录发送至数据接收服务端的步骤包括：将各个应用程序客户端对应的数据记录依次拼接；以及将拼接后的多个数据记录发送至数据接收服务端。

进一步地，在将各个应用程序客户端对应的数据记录依次拼接之前，将数据记录发送至数据接收服务端的步骤还包括：对数据记录中的数据进行序列化；将各个应用程序客户端对应的数据记录依次拼接的步骤包括：将序列化后的各条数据记录依次拼接。

进一步地，数据记录包括主体数据和主体数据的描述信息，根据待传输的数据内容生成数据记录的步骤包括：将待传输的数据内容添加至预定义的数据对象，以得到有效数据；确定有效数据对应的元数据，其中，元数据包括若干字段；根据元数据中字段的字段名称和字段值生成字段信息；根据有效数据和字段信息生成主体数据；确定主体数据的描述信息；根据主体数据和主体数据的描述信息，生成数据记录。

进一步地，主体数据的描述信息包括数据标识、表征主体数据是否包括元数据的第一标识和主体数据的长度；字段信息包括字段名称的长度、字段名称、表征当前字段信息后是否还存在其他字段信息的第二标识、字段值的长度和字段值。

进一步地，将待传输的数据内容添加至预定义的数据对象，以得到有效数据的步骤包括：获取公共字段添加至数据对象，以得到中间对象；将待传输的数据中的私有字段添加至中间对象，以得到有效数据。

进一步地，根据元数据中字段的字段名称和字段值生成字段信息的步骤包括：将字段名称的长度设置于字段信息的前x1个字节；将字段名称设置于前x1个字节后且与前x1个字节相邻的字节；将第二标识设置于字段名称后且与字段名称相邻的x2个字节的前y1位；将字段值的长度设置于x2个字节的后y2位，其中，y1位和y2位构成x2个字节；将字段值设置于x2个字节后且与x2个字节相邻，其中，x1、x2、y1和y2均为自然数。

进一步地，根据有效数据和字段信息生成主体数据的步骤包括：将元数据中各个字段对应的字段信息依次排列；在所有的字段信息之后设置有效数据，以生成主体数据。