[发明专利]图文数据扩充方法、装置及电子设备

说明书

本公开实施例中提供了一种图文数据扩充方法、装置及电子设备，属于图像处理技术领域，该方法包括：包括对语料库中的词汇进行编码向量化以获得与所述词汇对应的词汇编码；对所述词汇编码进行聚类以获得多个词汇聚类集合；获得与所述多个词汇聚类集合中的每个词汇聚类集合对应的图像集合；根据所述图像集合中的图像分布情况剔除不合格的词汇集合以获得合格的词汇集合；以及组合所述合格的词汇集合中的任一元素与所述图像集合中的任一元素，以获得扩充的图文数据。通过本公开的处理方案，提高了高置信度的图文数据的数量，缓解了图文相关的弱标签数据不足的问题，并且利用本公开的方案搜集的数据，可用于后续的模型训练、数据分析、算法调整等环节。

技术领域

本公开涉及图文处理技术领域，尤其涉及一种图文数据扩充方法、装置及电子设备。

背景技术

随着互联网技术的发展，人们越来越多地通过网络进行社交。在社交聊天的场景下，除了文字之外，还可以通过图像来增加社交的丰富程度。通过图像的社交要求用户能够使用或选择出能够正确表达其意思的图像。当前，通常通过点击行为，即输入文字，然后从候选图中选择与该文字相关的图像来进行意思表达。在这种情况下，被选中的图像可认为与所述输入的文字具有某种相关性(弱标签)。

通过这种点击方式来进行数据收集，一方面能够增加图文相关的弱标签的数据量，缓解图文相关的弱标签数据不足的问题，另一方面，利用该方式搜集的数据，可用于后续的模型训练、数据分析、算法调整等环节。

然而，由于现实聊天场景的多样性，不同文字也可能表达同一种含义。此外，在标签自动生成过程中，需要利用多个用户的点击行为，而这在语料库中的语料较少的场景下给数据搜集增添了难度。

发明内容

有鉴于此，本公开实施例提供一种图文数据扩充方法、装置及电子设备，以至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种一种图文数据扩充方法，该方法包括：

对语料库中的词汇进行编码向量化以获得与所述词汇对应的词汇编码；

对所述词汇编码进行聚类以获得多个词汇聚类集合，其中每个词汇聚类集合包含一个或者多个词汇；

获得与所述多个词汇聚类集合中的每个词汇聚类集合对应的图像集合，其中所述图像集合为与所述词汇聚类集合所包含的一个或者多个词汇对应的图像的集合；

根据所述图像集合中的图像分布情况剔除不合格的词汇集合以获得合格的词汇集合，其中所述词汇集合是所述词汇聚类集合中的词汇的子集；以及

组合所述合格的词汇集合中的任一元素与所述图像集合中的任一元素，以获得扩充的图文数据。

根据本公开实施例的一种具体实现方式，所述对语料库中的词汇进行编码向量化以获得与所述词汇对应的词汇编码，包括

采用基于word2vector或bert的计算方法来对语料库中的词汇进行编码向量化，并且其中基于word2vector的计算方法采用计数编码方法。

根据本公开实施例的一种具体实现方式，所述对所述词汇编码进行聚类，包括：

采用选自由以下方法构成的组的聚类方法对所述词汇编码进行聚类以获得多个词汇聚类集合：K均值聚类、均值漂移聚类、基于密度的聚类方法、用高斯混合模型的最大期望聚类、凝聚层次聚类以及图团体检测；

获得所述多个词汇聚类集合中的每个词汇聚类集合的聚类中心，

其中在采用K均值聚类的情况下，将每个词汇聚类集合中的所有词汇的平均值作为所述词汇聚类集合的聚类中心。

根据本公开实施例的一种具体实现方式，对于除了语料库中的词汇之外的新词汇，所述方法包括：

对所述新词汇进行编码向量化以获得所述新词汇的词汇编码；