[发明专利]样本数据的获取方法、装置、设备及存储介质

说明书

本发明实施例公开了一种样本数据的获取方法、装置、设备及存储介质。该方法包括：对直播数据库中的原始数据进行抽样，获得样本数据；对所述样本数据进行数据处理，并判断所述样本数据是否满足设定条件；若不满足，则对所述原始数据进行重新抽样，获得新抽样的样本数据。本发明实施例提供的样本数据的获取方法，对抽样数据进行数据处理，当抽样数据不满足设定条件时进行重新抽样，使得样本数据满足设定条件，可以保证样本数据的有效性。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种样本数据的获取方法、装置、设备及存储介质。

背景技术

随着互联网技术的快速发展，不断的产生大量的互联网数据。其中，作为一种非常有效的数据生产组织方式，数据中台在互联网行业中获得了广泛关注，假设数据中台服务对各技术业务的快速变化有着非常重要的作用。

但是在方便使用数据的过程中也会涉及到数据安全及敏感性的问题，因此需要设计样本数据库从总体进行抽样，这样既方便用户对数据的研究，也在一定程度上保证数据安全。但是抽样数据是否可以有效的代表原始数据对数据的研究非常重要，因而需要对样本数据的质量进行检验。

发明内容

本发明实施例提供一种样本数据的获取方法、装置、设备及存储介质，以实现对样本数据质量的检验，从而保证样本数据的有效性。

第一方面，本发明实施例提供了一种样本数据的获取方法，该方法包括：

对直播数据库中的原始数据进行抽样，获得样本数据；

对所述样本数据进行数据处理，并判断所述样本数据是否满足设定条件；

若不满足，则对所述原始数据进行重新抽样，获得新抽样的样本数据。

进一步地，对所述样本数据进行数据处理，包括：

确定所述样本数据的数值类型；所述数值类型包括连续型数值和离散型数值；

根据所述数值类型确定对应的数据处理方案。

进一步地，若所述样本数据的数值类型为连续型数值，则根据所述数值类型确定对应的数据处理方案，包括：

根据原始数据对所述样本数据进行如下至少一项的数据处理：均值差异检验、分布差异检验、方差齐性检验或者效应量检验。

进一步地，根据原始数据对所述样本数据进行均值差异检验包括：根据原始数据对所述样本数据进行Z检验，获得样本数据和原始数据间的平均值差异；

根据原始数据对所述样本数据进行分布差异检验包括：根据原始数据对样本数据进行KS检验，获得样本数据与原始数据间的分布差异；

根据原始数据对所述样本数据进行方差齐性检验包括：根据原始数据对所述样本数据进行F检验，获得样本数据和原始数据的方差齐性。

进一步地，判断所述样本数据是否满足设定条件，包括：

若样本数据与原始数据间的平均值差异、分布差异、方差齐性和效应量中的至少一个满足第一子设定条件，则所述样本数据满足设定条件。

进一步地，若所述样本数据的数值类型为离散型数值，则根据所述数值类型确定对应的数据处理方案，包括：

根据原始数据对所述样本数据进行如下至少一项的数据处理：卡方同质性检验及海林格距离检验。

进一步地，判断所述样本数据是否满足设定条件，包括：

若样本数据与原始数据间的卡方同质性和/或海林格距离满足第二子设定条件，则所述样本数据满足设定条件。

进一步地，对所述原始数据进行重新抽样，获得新抽样的样本数据，包括：