[发明专利]一种基于函数的数据关联方法及装置

说明书

本申请公开了一种基于函数的数据关联方法及装置，用以提升采用自定义函数过滤异常数据的成功率和效率。该方法包括：将异常数据集中至少一个异常数据输入第一数据类型对应的自定义函数中，确定自定义函数的第一输出结果；异常数据集是预先针对第一数据类型配置的；响应于第一输出结果为第一结果，将自定义函数、异常数据集与第一数据类型的数据关联存储；第一结果用于指示将异常数据集中包括的所有异常数据删除。

技术领域

本申请涉及数据云存储技术领域，尤其涉及一种基于函数的数据关联方法及装置。

背景技术

随着互联网技术的普及和发展，数据的存储需求不断增加，以分布式存储和计算为基础的大数据技术和人工智能技术的发展为数据的存储和使用提供了基础条件和应用场景。由于存储的数据量较大，数据库中不可避免的会存在一些异常数据(或者，也可以称为脏数据)，为了保证用户能够获取和使用的数据有效，数据的自动化管理技术必不可少。目前的数据自动化管理技术包括：采用自定义函数过滤异常数据，保留有效的数据。但是，目前的一些自定义函数并不完善，过滤异常数据的成功率较低，没有被过滤掉的异常数据依然会存在于数据库中。另外，由于数据库中存储的数据量较大，不同类型的数据对应不同的自定义函数，所以数据库中自定义函数也较多。那么如何管理自定义函数就变得尤为重要了。目前在需要过滤某一类数据时，需要人工从数据库包括的所有的自定义函数中选取该类数据对应的自定义函数，然后再进行过滤。采用这种方式比较耗费时间，过滤异常数据的效率较低。

发明内容

本申请示例性的实施方式中提供一种基于函数的数据关联方法及装置，用以提升采用自定义函数过滤异常数据的成功率和效率。

第一方面，本申请实施例提供了一种基于函数的数据关联方法，包括：

将异常数据集中至少一个异常数据输入第一数据类型对应的自定义函数中，确定所述自定义函数的第一输出结果；所述异常数据集是预先针对所述第一数据类型配置的；

响应于所述第一输出结果为第一结果，将所述自定义函数、所述异常数据集与所述第一数据类型的数据关联存储；所述第一结果用于指示将所述异常数据集中包括的所有异常数据删除。

基于上述方案，通过预先为不同的数据类型配置异常数据集，来分别对不同数据类型对应的自定义函数进行测试，若某一个数据类型的自定义函数能够将该数据类型对应的异常数据集中的所有数据过滤掉，则确定该数据类型的自定义函数通过测试，可以投入使用。对于通过测试的自定义函数，可以将其与对应的数据类型的数据和对应的异常数据集进行关联存储，实现自定义函数的统一管理，相比于现有技术中需要人工选取过滤某些数据所用的自定义函数，本申请提出的方案可以缩减过滤异常数据所用的时间，提升了过滤异常数据的准确性和效率。

在一些实施例中，响应于所述第一输出结果为所述第一结果之外的结果，向目标设备发送第一修改指示信息；所述第一修改指示信息用于指示修改所述自定义函数。

目标设备可以为运维人员所使用的设备。在自定义函数无法过滤全部的异常数据时，可以通过向运维人员的设备发送指示信息的方式。来提示运维人员修改自定义函数。

在一些实施例中，所述异常数据集是基于所述自定义函数的功能配置的。

在一些实施例中，所述方法还包括：

若所述异常数据集发生更新，则向目标设备发送更新提示信息；所述更新提示信息用于指示对所述自定义函数进行更新。

在一些实施例中，所述向目标设备发送更新提示信息之后，所述方法还包括：

响应于所述自定义函数更新完成，将更新后的异常数据集中包括的异常数据输入更新后的自定义函数中，确定所述自定义函数的第二输出结果；

响应于所述第二输出结果为所述第一结果，则将所述更新后的自定义函数、所述更新后的异常数据集与所述第一数据类型的数据关联存储。