[发明专利]数据模型更新方法及装置

说明书

本申请公开了一种数据模型更新方法及装置，其中，该方法包括：获取网络数据；确定系统最大处理能力，以及确定处理该网络数据采用的数据模型的编码能力；在确定该编码能力以及该系统最大处理能力满足预设条件的情况下，更新该数据模型。相应的，还提供了一种数据模型更新装置。实施本申请，可有效提高系统性能。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据模型更新方法及装置。

背景技术

在大数据时代，如在互联网领域、金融领域、通信领域等增加大量的网络设备和安全设备，这些设备会产生海量网络数据。同时，在处理该网络数据时通常会进行数据模型选择，一方面是为了减少网络传输的压力，提高数据处理的性能；另一方面是为了节省存储成本。

由于数据模型的多样性，每种数据模型都有优缺点，所以数据收集前一般要选择一种合适的数据模型。如在收集网络数据之前，预置一种数据模型，具体的，可以根据历史数据或实验数据来选择一种数据模型。

然而，采用上述方式，会使得系统性能低下。

发明内容

本申请提供了一种数据模型更新方法及装置，能够有效提高系统性能。

第一方面，本申请实施例提供一种数据模型更新方法，包括：

获取网络数据；确定系统最大处理能力，以及确定处理所述网络数据采用的数据模型的编码能力；在确定所述编码能力以及所述系统最大处理能力满足预设条件的情况下，更新所述数据模型。

本申请实施例中，预设条件可以为数据模型更新装置预先设置的，与系统最大处理能力以及与数据模型的编码能力相关的条件。具体的，如该预设条件可以由该数据模型更新装置通过接收用户输入的设置指令来设置，或者，该预设条件也可以由该数据模型更新装置自动设置等等，本申请实施例对于该预设条件的设置方式不作限定。实施本申请实施例，通过数据模型的编码能力以及系统最大处理能力来确定是否更新该数据模型，从而使得数据模型更新装置能够根据实际场景或实际需求来动态更新数据模型，进而提高了系统性能；另一方面，在接收到相同的数据的情况下，相对于非动态数据模型，动态数据模型能够有效减少存储的空间。

在一种可能的实现方式中，所述编码能力包括编码率和编码速度。

本申请实施例中，对于同一种数据模型来说，其编码率相同；而编码速度则根据数据模型的编码处理能力相关，因此，数据模型更新装置需要实时计算数据模型的编码速度。

在一种可能的实现方式中，所述预设条件包括：第一时间不大于第二时间；其中，所述第一时间由所述系统最大处理能力以及所述网络数据的数据量确定，所述第二时间由所述系统最大处理能力、所述网络数据的数据量以及所述编码能力确定；或者，所述预设条件包括：所述系统最大处理能力和所述编码速度的比值，与所述编码率的和不小于1。

本申请实施例中，通过两种方式来确定预设条件，从而进一步增加是否更新数据模型的准确性。

在一种可能的实现方式中，所述方法还包括：对所述网络数据进行格式化分析，得到所述网络数据的业务特征。

本申请实施例中，可对网络数据进行格式化分析，从而得到该网络数据的业务特征。具体的，如可根据网络数据的key、value和eventtype中的一项或多项来区分该网络数据的业务特征。通过区分该网络数据的业务特征，可使得用户在使用时，根据该业务特征来使用，提高网络数据的规范性，提高用户满意度。

在一种可能的实现方式中，所述得到所述网络数据的业务特征之后，所述方法还包括：依据所述网络数据的业务特征分类存储所述网络数据。

本申请实施例中，通过对网络数据进行格式化分析，从而分类存储该网络数据，提高了存储的规范化，且根据数据模型动态存储网络数据，降低了存储成本。

第二方面，本申请实施例提供了一种数据模型更新装置，包括：