[发明专利]数据获取模型建立的方法和数据获取的方法及装置

说明书

本发明公开了一种数据获取模型建立的方法和数据获取的方法及装置。其中，该方法包括：将一个或多个列中的每个列划分为多个区间，其中，数据库中存储的一个或多条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组。本发明解决了现有技术创建数量众多的索引导致成本升高的技术问题。

技术领域

本发明涉及互联网技术应用领域，具体而言，涉及一种数据获取模型建立的方法和数据获取的方法及装置。

背景技术

随着物联网、互联网的发展，现在已经进入了数据爆炸的时代，人类的活动、设备的活动正产生越来越多的行为数据。行为数据为大数据分析、人工智能等领域提供了很好的数据基础。

其中在数据分析的过程中，如大数据分析，在具体的示例中例如用户浏览网店的行为会产生如下的数据：

时间、网店ID、商品ID、用户ID、用户年龄、用户位置、商品价格等等很多很多属性的数据。

基于上述多维度的数据，在大数据分析或人工智能领域，则需要对上述维度的数据进行透视分析，例如任意列、任意两列、任意N列的透视，进而透视得到勾选维度的人群、计数等。

为了提高数据搜索速度，提高过滤性，在相关技术中往往需要创建索引，但是由于透视维度是任意的，那么为了实现提高数据的搜索速度，则需要依据用户越来越多的需求创建众多的索引，而由于创建数量众多的索引所代理的系统容量成本升高，以及由于容量成本的升高进而导致的写入性能的下降，上述问题在相关技术中成为了普遍存在的问题。

针对上述由于现有技术创建数量众多的索引导致成本升高的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据获取模型建立的方法和数据获取的方法及装置，以至少解决现有技术创建数量众多的索引导致成本升高的技术问题。

根据本发明实施例的一个方面，提供了一种数据获取模型建立的方法，包括：将一个或多个列中的每个列划分为多个区间，其中，数据库中存储的一个或多条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组。

可选的，每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组包括：在每个列为单列的情况下，以单列中的最大值和最小值为边界，切分得到N个区间，并将每条数据所在列的值依据对应的值的大小依次填入各个区间。

进一步地，可选的，该方法还包括：依据接收到的搜索请求得到检索条件；根据检索条件所处的区间，获取区间在单列中所处的列位置；依据列位置提取检索条件对应的目标数据。

可选的，每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组包括：在每个列为双列的情况下，以双列中的第一列的最大值和第一列的最小值，以及第二列的最大值和第二列的最小值为边界，对每列切分得到N个区间，并将每条数据所在列的值依据对应的值的大小依次填入各个区间。

进一步地，可选的，该方法还包括：依据接收到的搜索请求得到检索条件；根据检索条件确定同时满足双列中第一列的区间和第二列的区间的区间集合；依据区间集合获取检索条件对应的目标数据。

可选的，每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组包括：在每个列为三列的情况下，以三列中的第一列的最大值和第一列的最小值、第二列的最大值和第二列的最小值、以及第三列的最大值和第三列的最小值为边界，对每列切分得到N个区间，并将每条数据所在列的值依据对应的值的大小依次填入各个区间。