[发明专利]一种数据管理方法、装置、设备及存储介质

说明书

本发明公开了一种数据管理方法、装置、设备和存储介质，包括：接收到数据采集指令之后，间隔第一预设时间，以线程池的方式并行采集设备数据，得到短期数据，并将所述短期数据存储至第一数据库；在监测到所述短期数据过期之前，从所述第一数据库中抽样提取所述短期数据，得到长期数据，并将所述长期数据存储至第二数据库，当单表数据量大于预设阈值时，按设备进行分表存储。上述技术方案，先将以线程池的方式并行采集到的短期数据存储至第一数据库，再抽取第一数据库中的短期数据，得到长期数据，并将长期数据存储至第二数据库，并使用分表存储解决单表数据量过大的问题，使数据的采集更加迅速，而且在数据量超大的情况下能够保证检索效率。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据管理方法、装置、设备及存储介质。

背景技术

在软件定义网络领域，作为逻辑中心和控制中心的控制器，为了方便管理和配置网络，需要掌握全局网络信息。随着控制器纳管的转发设备逐渐增多，采集所有设备数据的用时也将随之增多，同时，设备数据的数据量也随设备的数量线性增长。当设备的数量达到一定的规模后，必将给设备数据的采集和存储带来极大的挑战，另一方面，设备数据存储的压力又将延申到检索设备数据的性能压力上。因此，在控制器管理大规模设备的情况下，设备数据的采集、存储和检索将面临不小的困难。

现有技术中，对于设备数据的采集，目前常用的方法可以包括：控制器主动向设备发送查询命令；设备通过远距离测量术Telemetry主动向控制器发送设备数据。因为不是所有设备都支持Telemetry，所以控制器主动查询的方式更为通用，然而，这种方式比较耗时，尤其在设备数量较多的情况下，使用串行方式依次获取每台设备的设备数据几乎是行不通的。对于设备数据的存储，目前多使用传统的关系型数据库，在不影响查询性能的前提下，该类数据库单表的最大存储量为百万级，极大地限制了设备数据可以连续存储的时长和时间粒度。而且数据库单表的存储量过大，也不便于设备数据检索。

发明内容

本发明提供一种数据管理方法、装置、设备及存储介质，以实现千级设备或者百亿级设备数据的采集、存储和检索。

第一方面，本发明实施例提供了一种数据管理方法，包括：

接收到数据采集指令之后，间隔第一预设时间，以线程池的方式并行采集设备数据，得到短期数据，并将所述短期数据存储至第一数据库；

在监测到所述短期数据过期之前，从所述第一数据库中抽样提取所述短期数据，得到长期数据，并将所述长期数据存储至第二数据库。

进一步地，间隔第一预设时间，以线程池的方式并行采集设备数据，得到短期数据，并将所述短期数据存储至第一数据库，包括：

根据管理范围内所述设备的数量，确定所述核心线程的数量，其中，所述核心线程的数量为同时运行的最大线程数；

间隔第一预设时间，分批次采集管理范围内所有设备的所述设备数据，得到所述短期数据，并将所述短期数据存储至所述第一数据库。

进一步地，间隔第一预设时间，分批次采集管理范围内所有设备的所述设备数据，得到所述短期数据，并将所述短期数据存储至所述第一数据库，包括：

在监测到任一批次中所述设备的所述设备数据采集完成之后，将候补队列中的候补设备补位至所述核心线程进行设备数据采集。

进一步地，从所述第一数据库中抽样提取所述短期数据，得到长期数据，并将所述长期数据存储至第二数据库，包括：

若所述长期数据的数据量大于预设阈值，则在所述第二数据库中将所述设备数据按照设备分别存储至不同的数据表。

进一步地，所述第二数据库中所述数据表的名称包括原始表名和设备名称。

进一步地，所述第一数据库对应第一过期策略，