[发明专利]一种计算指标数据的方法和装置

说明书

本发明公开了一种计算指标数据的方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：筛选出与待测时序数据相近的样本时序数据，对所述样本时序数据进行特征提取，从而构建数据集；其中，所述待测时序数据对应的指标与所述样本时序数据对应的指标不同，且所述待测时序数据条目数量少于所述样本时序数据的条目数量；采用所述数据集对指标计算模型进行训练，得到训练后的指标计算模型；从所述待测时序数据中提取出待测特征，将所述待测特征输入到所述训练后的指标计算模型中，从而输出指标数据。该实施方式能够解决人力和时间消耗大以及数据稀疏的技术问题。

技术领域

本发明涉及大数据技术领域，尤其涉及一种计算指标数据的方法和装置。

背景技术

随着大数据和智能化系统的发展，城市趋于智能化，指标计算是城市智能化不可或缺的一个部分，对于城市发展的分析研判，资源调度等起到至关重要的作用。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1)大量的人力消耗和时间消耗：城市中的指标是众多的，然而目前常用的方法是针对每种指标单独设计一个机器学习或深度学习模型来对数据拟合(训练阶段)，从而完成对指标的计算(推理阶段)。针对一个具体的需求场景，如社会零售额预测、销量预测等，数据采集阶段通常从子系统接入数据，特征提取阶段通常采用滑动窗口的方式，模型训练通常使用现有的开源算法库支持，如sklearn等，模型推理阶段使用最近的特征实现对指标的计算。上述过程需要利用人为经验对每个指标进行建模，往往需要巨大的人力消耗和时间消耗。

2)数据的稀疏性：城市中的指标多为宏观指标，历史数据的时间段比较有限，在数据稀疏的情况下，通常较难使用复杂的机器学习或深度学习模型。

发明内容

有鉴于此，本发明实施例提供一种计算指标数据的方法和装置，以解决人力和时间消耗大以及数据稀疏的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种计算指标数据的方法，包括：

筛选出与待测时序数据相近的样本时序数据，对所述样本时序数据进行特征提取，从而构建数据集；其中，所述待测时序数据对应的指标与所述样本时序数据对应的指标不同，且所述待测时序数据条目数量少于所述样本时序数据的条目数量；

采用所述数据集对指标计算模型进行训练，得到训练后的指标计算模型；

从所述待测时序数据中提取出待测特征，将所述待测特征输入到所述训练后的指标计算模型中，从而输出指标数据。

可选地，筛选出与待测时序数据相近的样本时序数据，包括：

将待测时序数据以及各个样本时序数据输入到经过训练的编码器中，分别输出所述待测时序数据对应的编码向量以及所述各个样本时序数据对应的编码向量；

采用聚类算法对所述各个样本时序数据对应的编码向量进行聚类，得到多个簇以及各个簇对应的特征中心向量；

基于所述待测时序数据对应的编码向量以及所述各个簇对应的特征中心向量，筛选出与所述待测时序数据相近的若干个样本时序数据。

可选地，所述簇的数量为所述各个样本时序数据的总数量的平方根。

可选地，基于所述待测时序数据对应的编码向量以及所述各个簇对应的特征中心向量，筛选出与所述待测时序数据相近的若干个样本时序数据，包括：

分别计算所述待测时序数据对应的编码向量与所述各个簇对应的特征中心向量的相似度，筛选出与所述待测时序数据相似度最大的N个簇；

分别计算所述待测时序数据对应的编码向量与所述N个簇中每个样本时序数据对应的编码向量的相似度，筛选出与所述待测时序数据相似度最大的M个样本时序数据；