[发明专利]分层抽样方法、装置和计算机设备

说明书

本申请提供一种分层抽样方法、装置和计算机设备，上述分层抽样方法包括：将数据库中待抽样的数据存入数据表；获取待抽样的层，根据待抽样的层对所述数据表进行分区，在每个待抽样的层对应的分区中，对所述分区中的数据进行排序；获取每个待抽样的层对应的抽样比例，根据所述抽样比例从所述分区排序后的数据中抽取数据。本申请可以基于SQL实现直接分层抽样，无需另行编写数据处理脚本读取和处理数据，并且将数据源存放于同一张表中，避免了各层数据单独建表引起的数据冗余；另外，对每个待抽样的层对应的分区进行单独抽样，可以避免一次性全表扫描对资源的大量占用。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种分层抽样方法、装置和计算机设备。

背景技术

抽样，又称取样，是指从欲研究的全部样品中抽取一部分样品，来估计和推断全部样品的一种常用统计方法。抽样的基本要求是保证所抽取的样本对总体具有充分的代表性，常用的抽样方法有简单随机抽样、系统抽样、分层抽样、整群抽样等。

其中，分层抽样是指从一个可以分成不同层的总体中，按规定的比例从不同层中随机抽取样本的方法，也叫类型抽样，分层抽样可充分保证所抽取的样本对分层总体的代表性。

结构化查询语言(Structured Query Language；以下简称：SQL)是专为数据库而建立的操作命令集，是一种功能齐全的数据库语言，SQL现有的抽样方法仅支持简单随机抽样，而分层抽样由于涉及到层的划分及每层内的随机取样，SQL中暂无直接的方法可供调用，因此SQL中的分层抽样多采用间接的方式实现。但是，当各层的用户访问记录存储在同一张表中、表内数据量较为庞大时，采用间接方法实现分层抽样的效率较低，占用资源较多，并且较为耗时耗力。

发明内容

为克服相关技术中存在的问题，本申请提供一种分层抽样方法、装置和计算机设备。

本申请的实施例采用如下技术方案：

第一方面，本申请实施例提供一种分层抽样方法，包括：将数据库中待抽样的数据存入数据表；获取待抽样的层，根据待抽样的层对所述数据表进行分区，在每个待抽样的层对应的分区中，对所述分区中的数据进行排序；获取每个待抽样的层对应的抽样比例，根据所述抽样比例从所述分区排序后的数据中抽取数据。

上述分层抽样方法中，将数据库中待抽样的数据存入数据表之后，获取待抽样的层，根据待抽样的层对上述数据表进行分区，在每个待抽样的层对应的分区中，对上述分区中的数据进行排序，然后获取每个待抽样的层对应的抽样比例，根据上述抽样比例从上述分区排序后的数据中抽取数据，从而可以基于SQL实现直接分层抽样，无需另行编写数据处理脚本读取和处理数据，并且将数据源存放于同一张表中，避免了各层数据单独建表引起的数据冗余；另外，对每个待抽样的层对应的分区进行单独抽样，可以避免一次性全表扫描对资源的大量占用。

第二方面，本申请实施例提供一种分层抽样装置，包括：录入模块，用于将数据库中待抽样的数据存入数据表；分区模块，用于获取待抽样的层，根据待抽样的层对所述数据表进行分区；排序模块，用于在每个待抽样的层对应的分区中，对所述分区中的数据进行排序；抽样模块，用于获取每个待抽样的层对应的抽样比例，根据所述抽样比例从所述分区排序后的数据中抽取数据。

上述分层抽样装置中，录入模块将数据库中待抽样的数据存入数据表之后，分区模块获取待抽样的层，根据待抽样的层对上述数据表进行分区，排序模块在每个待抽样的层对应的分区中，对上述分区中的数据进行排序，然后抽样模块获取每个待抽样的层对应的抽样比例，根据上述抽样比例从上述分区排序后的数据中抽取数据，从而可以基于SQL实现直接分层抽样，无需另行编写数据处理脚本读取和处理数据，并且将数据源存放于同一张表中，避免了各层数据单独建表引起的数据冗余；另外，对每个待抽样的层对应的分区进行单独抽样，可以避免一次性全表扫描对资源的大量占用。