[发明专利]上报数据的存储方法、装置、电子设备和存储介质

说明书

本发明公开了一种上报数据的存储方法、装置、电子设备和计算机可读存储介质。其中方法包括：获取客户端发送的上报数据；根据上报数据生成对应的日志，其中，日志的文件名以时间戳命名；根据序列号信息、机器号信息和时间戳信息，生成日志的ID信息；周期性地对在预设时间内生成的日志进行合并，得到合并后的周期日志；解析周期日志，并根据ID信息中的机器号调用对应的存储服务器，其中，存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据，并将对应的日志数据存储至数据库中。该方法可以减少存储成本和工作量，并可以满足大量数据的存储需求，实现了有效分散和有序地存储用户数据入库，提高了数据的存储效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种上报数据的存储方法、装置、电子设备和计算机可读存储介质。

背景技术

随着互联网的快速发展，网络中产生的用户数据呈爆炸式增长。提供服务的单位或机构面对数据时的存储压力变大，分布式存储数据开始普及。但是，当多个服务器数据汇总存储数据库时，如何解决数据大量导入数据库并保持主键唯一性便成了一个难题。

相关技术中，通用的方法是使用缓存技术，即将用户上传的上报数据保存到上报日志，然后，再从缓存中读取数据，导入数据库中。但是，该方法需要单独部署缓存服务，加大了机器数量，增加了机器成本和维护成本。另外，当业务增长，数据量变大时，每个存储服务器处理数据的时间会变多，使得数据入库时间无法维持在短时间内即完成，降低了数据的存储效率。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种上报数据的存储方法。该方法可以减少存储成本和工作量，并且，可以满足大量数据的存储需求，并通过机器号来调用对应的存储服务器，通过所述对应的存储服务器将其对应的日志数据存储到数据库中，实现了有效分散和有序地存储用户数据入库，提高了数据的存储效率。

本发明的第二个目的在于提出一种上报数据的存储装置。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达到上述目的，本发明第一方面实施例提出的上报数据的存储方法，包括：获取客户端发送的上报数据；根据所述上报数据生成对应的日志，其中，所述日志的文件名以时间戳命名；根据序列号信息、机器号信息和时间戳信息，生成所述日志的ID信息；周期性地对在预设时间内生成的日志进行合并，得到合并后的周期日志；解析所述周期日志，并根据所述ID信息中的机器号调用对应的存储服务器，其中，所述存储服务器根据所述ID信息从解析后的所述周期日志中获取对应的日志数据，并将所述对应的日志数据存储至数据库中。

根据本发明实施例的上报数据的存储方法，可获取客户端发送的上报数据，并根据上报数据生成对应的日志，其中，日志的文件名以时间戳命名，并根据序列号信息、机器号信息和时间戳信息，生成日志的ID信息，之后，可周期性地对在预设时间内生成的日志进行合并，得到合并后的周期日志，然后，解析周期日志，并根据ID信息中的机器号调用对应的存储服务器，以使存储服务器根据ID信息从解析后的周期日志中获取对应的日志数据，并将对应的日志数据存储至数据库中。即通过使用按时间戳分日志保存的方法，可在原机器上完成，且可同原来的日志系统一起维护，减少了存储成本和工作量，并且，通过序列号信息、机器号信息和时间戳信息生成日志的ID信息，可以满足大量数据的存储需求，并通过机器号来调用对应的存储服务器，通过所述对应的存储服务器将其对应的日志数据存储到数据库中，实现了有效分散和有序地存储用户数据入库，提高了数据的存储效率。