[发明专利]利用无监督学习来改进文本到内容建议的方法和系统

权利要求书

1.一种数据处理系统，其包括：

处理器；以及

与所述处理器进行通信的存储器，所述存储器包括可执行指令，当所述可执行指令被所述处理器执行时，使得所述数据处理系统执行以下操作的功能：

访问包含从应用程序收集的未标记训练数据的数据集，所述未标记训练数据是在用户隐私约束下收集的；

将无监督机器学习(ML)模型应用于所述数据集以生成预训练嵌入；以及

将受监督ML模型应用于标记数据集以训练由所述应用程序所利用的文本到内容建议ML模型；

其中，所述受监督ML模型利用所述受监督ML模型生成的所述预训练嵌入来训练所述文本到内容建议ML模型。

2.根据权利要求1所述的数据处理系统，其中，所述无监督ML模型和所述受监督ML模型中的每一个模型都包括平均池化层和全连接层。

3.根据权利要求1所述的数据处理系统，其中，所述指令还使所述处理器向所述受监督ML模型应用初始化权重，所述初始化权重是通过所述无监督ML模型来获得的。

4.根据权利要求1所述的数据处理系统，其中，所述指令还使所述处理器向经训练的文本到内容建议ML模型应用工程层，以控制建议的新内容的比例。

5.根据权利要求1所述的数据处理系统，其中，所述未标记训练数据包括无序的词列表。

6.根据权利要求5所述的数据处理系统，其中：

所述无序的词列表包括至少一个被掩蔽词；以及

所述无监督ML模型生成与所述被掩蔽词相对应的预测词。

7.根据权利要求1所述的数据处理系统，其中，所述无监督ML模型生成多个预训练嵌入层，每个预训练嵌入层具有不同的矢量维度以结合不同的文本到内容建议模型来使用。

8.一种用于训练文本到内容建议ML模型的方法，所述方法包括：

访问包含从应用程序收集的未标记训练数据的数据集，所述未标记训练数据是在用户隐私约束下收集的；

将无监督机器学习(ML)模型应用于所述数据集以生成预训练嵌入；以及

将受监督ML模型应用于标记数据集以训练由所述应用程序所利用的文本到内容建议ML模型；

其中，所述受监督ML模型利用由所述受监督ML模型生成的所述预训练嵌入来训练所述文本到内容建议ML模型。

9.根据权利要求8所述的方法，还包括：向所述受监督ML模型应用初始化权重，所述初始化权重是通过所述无监督ML模型来获得的。

10.根据权利要求8所述的方法，还包括：向经训练的文本到内容建议ML模型应用工程层，以控制建议的新内容的比例。

11.根据权利要求8所述的方法，其中，所述无监督ML模型生成多个预训练嵌入层，每个预训练嵌入层具有不同的矢量维度以结合不同的文本到内容建议模型来使用。

12.一种其上存储有指令的非临时性计算机可读介质，当所述指令被执行时，使得可编程设备用于：

访问包含从应用程序收集的未标记训练数据的数据集，所述未标记训练数据是在用户隐私约束下收集的；

将无监督机器学习(ML)模型应用于所述数据集以生成预训练嵌入；以及

将受监督ML模型应用于标记数据集以训练由所述应用程序所利用的文本到内容建议ML模型；

其中，所述受监督ML模型利用由所述受监督ML模型生成的所述预训练嵌入来训练所述文本到内容建议ML模型。

13.根据权利要求12所述的非临时性计算机可读介质，其中，所述指令还使所述可编程设备向所述受监督ML模型应用初始化权重，所述初始化权重是通过所述无监督ML模型来获得的。