[发明专利]训练模型的方法及系统和预测序列数据的方法及系统

权利要求书

1.一种训练用于预测序列数据的机器学习模型的方法，包括：

获取序列训练样本集合，其中，所述序列训练样本集合包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据；

基于所述序列训练样本集合，训练所述机器学习模型，

其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态；

其中，所述多个序列数据涉及对象在不同时间点的行为数据，所述机器学习模型被训练为针对对象的按时间顺序排列的一系列历史行为数据来预测对象在所述一系列历史行为数据之后的下一行为数据；或者

所述多个序列数据涉及对象在不同时间点的状态数据，所述机器学习模型被训练为针对对象的按时间顺序排列的一系列历史状态数据来预测对象的在所述一系列历史属性数据之后的下一状态数据。

2.如权利要求1所述的方法，其中，获取序列训练样本集合的步骤包括：

获取所述多个对象的历史数据记录集合；

基于所述多个对象的历史数据记录集合构建所述序列训练样本集合，其中，对于每个对象的按时间顺序排列的多条历史数据记录，如果相邻的两条历史数据记录之间的时间间隔满足预设条件，则进行切分，进而得到该对象的多条序列训练样本。

3.如权利要求1所述的方法，其中，每个共享隐状态对应一个概率分布。

4.如权利要求3所述的方法，其中，所述行为数据包括反映对象行为的连续特征数据，所述概率分布包括高斯分布；或者

其中，所述行为数据包括反映对象行为的离散特征数据，所述概率分布包括多项式分布。

5.如权利要求4所述的方法，其中，所述连续特征数据包括对象的位置数据，所述离散特征数据包括对象所接受的内容的内容ID。

6.如权利要求1所述的方法，其中，第一隐状态层中的每个对象的个性化隐状态的数量小于第二隐状态层中的所述多个共享隐状态的数量。

7.如权利要求1所述的方法，其中，所述机器学习模型的模型参数包括针对每个对象的个性化参数集和由所述多个对象共享的共享参数集。

8.如权利要求7所述的方法，其中，个性化参数集包括第一隐状态层中的每个对象的个性化隐状态的概率、每个对象的个性化隐状态之间的转移概率和每个对象的从个性化隐状态到共享隐状态的发射概率，共享参数集包括与每个共享隐状态对应的概率分布的集合。

9.如权利要求8所述的方法，其中，用于训练所述机器学习模型的目标函数被构造为包括损失函数和正则项，其中，所述正则项用于对每个对象的从个性化隐状态到共享隐状态的发射概率分布的集中程度进行约束。

10.如权利要求9所述的方法，其中，所述正则项包括与每个对象的从个性化隐状态到共享隐状态的发射概率的熵有关的约束项。

11.如权利要求10所述的方法，其中，所述约束项被构造为其中，其中，λ是大于0的实数，指示所述多个对象中的第u个对象的从第i个个性化隐状态到第m个共享隐状态的发射概率，其中，u、i和m均是大于0的正整数。

12.如权利要求10所述的方法，其中，训练所述机器学习模型的步骤包括：

利用与每个序列训练样本对应的个性化隐状态序列和共享隐状态序列基于詹森不等式来确定目标函数的下界，并通过最大化目标函数的下界来确定所述模型参数。