[发明专利]评估依赖于聚合历史数据的模型

说明书

描述了用于模型验证的系统和方法。用于模型验证的系统和方法包括：针对表示模拟群体的数据集生成细分状态的第一和第二时间序列，该数据集例如是与模拟群体的各个区段对应的成员计数的集合。细分状态的第一和第二时间序列是通过分别经过第一和第二模拟对数据集进行处理而生成，第一和第二模拟中的每一个包括多个事件函数的迭代应用。第一和第二模拟在至少一个容量上不同，例如，一个包括配置有第一参数的第一事件函数，而第二个则没有。可以将第一时间序列和第二时间序列之间的差的分析与使用主题模型对时间序列之一的分析进行比较。然后，将比较用于验证模型或证明准确性、不准确性和/或模型关于性能度量的偏差。

相关专利申请的交叉引用

本申请要求2017年9月18日提交的美国专利申请No.15/707,594的权益和优先权，其全部公开内容通过引用合并于此。

背景技术

涉及大量变量的复杂系统可能受到多种不同因素的影响。已经开发出模型来尝试衡量或量化各个因素的影响。但是，这些模型无法控制其他因素的影响。结果，这些模型的有效性或准确性以及由这些模型生成的评估或预测的有效性或准确性会发生变化。这些模型是可以校准和调整的衡量工具。为了校准衡量工具，应将工具应用于已知准确性的标准。但是，对于许多复杂的系统，没有已知的可重复标准。

例如，在用于评估营销策略并识别营销策略的变化如何影响关键绩效指标的模型中可以看到此问题。营销模型(例如媒体混合模型(“MMM”))通常会分析表示无法重建的真实世界的事件的聚合的历史数据(例如，由于外部变量超出了建模者的视野或控制)。需要一种能够建立用于评估依赖于聚合历史数据的营销模型的基础事实(ground truth)的可靠市场模拟。

发明内容

描述了用于模型验证的系统和方法。用于模型验证的系统和方法包括：针对表示模拟群体的数据集生成细分(segmentation)状态的第一和第二时间序列，该数据集例如是与模拟群体的各个区段(segment)对应的成员计数的集合。细分状态的第一和第二时间序列是通过分别经过第一和第二模拟对数据集进行处理而生成，第一和第二模拟中的每一个包括多个事件函数的迭代应用。第一和第二模拟在至少一个容量上不同，例如，一个包括配置有第一参数的第一事件函数，而第二个则没有。可以将第一时间序列和第二时间序列之间的差的分析与使用主题模型对时间序列之一的分析进行比较。然后，将比较用于验证模型或证明准确性、不准确性和/或模型关于性能度量的偏差。

在至少一个方面，描述了一种模型验证的方法，该方法包括：通过包括处理器的数据模拟器生成数据集，该数据集表示模拟群体，该数据集包括根据细分方案与模拟群体的各个区段对应的成员计数的集合。该方法包括通过经过第一模拟对数据集进行处理来生成细分状态的第一时间序列，第一模拟包括第一多个事件函数的迭代应用，该第一多个事件函数包括配置有第一参数的第一事件函数，并且通过经过第二模拟对数据集进行处理来生成细分状态的第二时间序列，第二模拟包括第二多个事件函数的迭代应用，其中，第二多个事件函数不包括配置有第一参数的第一事件函数。该方法包括识别性能度量的第一值，该第一值表示第一时间序列和第二时间序列之间的差。该方法包括对于主题模型识别性能度量的第二值，该第二值由将所述主题模型应用于所述第一时间序列或所述第二第一时间序列中的一个的输出。然后，该方法通过将第一值与第二值进行比较来确定主题模型关于性能度量的有效性得分。

以下是与这些和类似方法、装置和系统有关的各种概念以及其实施方式的各种详细说明。由于所描述的概念不限于任何特定的实施方式，所以可以以多种方式中的任何一种来实现上面介绍的以及下面更详细讨论的各种概念。

附图说明

当结合附图时，通过参考以下详细描述，将更充分地理解本公开的上述和相关目的、特征和优点，其中：

图1A是示出适合在本文所述的各种实施方式中使用的示例计算环境的框图；

图1B是示出适合在本文所述的各种实施方式中使用的示例计算设备的框图；