[发明专利]基于微信小程序的食物图片美学分析标签数据收集系统

说明书

本发明公开了一种基于微信小程序的食物图片美学分析标签数据收集系统，该发明首先实现了与微信小程序进行数据交互的问题模块、答题模块，通过该模块自动采集系统相关的所有问答数据和用户资料信息；对于采集到的图片数据及相关的问答数据，进行后台分析处理，转换为各图片的标签数据。应用本发明的方法，具有可以通过微信小程序在朋友圈传播的特点，实现食物图片美学分析标签数据的自动收集。

技术领域

本发明涉及互联网应用中的数据收集及处理技术，社交网络中的用户信息提取技术，特别涉及一种基于微信小程序平台传播，并通过游戏方式对食物图片进行美学分析标签采集的方法。

背景技术

随着数字媒体的广泛应用，基于机器视觉的图像识别技术蓬勃发展，是影响力最大且最吸引人的技术之一。目前有大量基于图像的分析和学习工作[1]，比如人脸识别[2]、图像场景分类[3]、图像质量评价、图像检索等。这些现有的图像处理工作无一不涉及到标签图像数据(ground truth)[4]。如图像场景(食物、风景等)分类，需要大量不同场景的标记数据进行分类器训练；图像质量评价方法也依赖于已有的标签图像数据，此外也可基于人工判断的标签数据。无论如何，标签图像数据对于图像识别技术有着极大的作用，获取标签图像数据也成为一个重点。标签数据的来源基本有两个方向，一是人工进行数据标注，这种人工标注会带入一定的个人主观性，且可能会因为个人认知的不足造成标注错误，造成噪音；另一种就是利用现有的开源图像数据库，如ImageNet、PASCALVOC数据集、CIFAR等数据集提供的标签数据带来了极大的便利，但其主要作用是指示图片中包含的对象，对于人本身的主观感受的评判，例如在人对于图片的审美等特殊场景下，这些数据集的标注起到的作用并不大。因此对于这种特定场景下的需求，人工标注图片仍然是最主要的手段。

图像的美学评价目前有较多研究，可以分为五种类型。(1)美感分类，即给定一幅图像，输出“好”和“不好”的类别信息；(2)美感评分，是指给出图像的美学质量评分，表现为一些数值；(3)美感分布，指给出图像的美学质量分数分布直方图；(4)美学因素，指给出图像的光影、配色、构图等多个方面的评价；(5)美学描述，是指给出图像美学方面的语言评价。常用的图像美感评估方法主要有两种，一是根据图像特点，美学理论等设计图像特征提取的算法，针对性地手工设计并提取图像特征并利用机器学习方法对图像美感进行分类或者给出图像美感分数值。二是2014年起，开始出现利用深度学习方法进行图像美感评估的研究[5]。这种方法无需额外提取图像特征，将图像直接输入到网络中，让网络学习图像的美感，从而利用这些特征，评估图像美感。前者方法中传统的手工设计提取方法存在难以全面而准确地描述图像美学特征的问题，在美学特征提取思路上没有本质性的突破。第二种近年来兴起的深度学习的方法可以替代手工特征提取的步骤，通过网络自动学习图像的美学特征，从已有的成果可以看出。深度学习方法的性能大大超越了之前的手工设计美学特征，但标签数据的获取难度较大。目前基于图片美感分析的公开数据集有Photo.Net，DPChallenge。这两个数据集可以被认为是最早尝试构建用于图像美学评估的大规模图像数据库。

发明内容

本发明以食物图片审美分类(即食物图片的美感是否符合个人审美，好看或不好看)作为图片标注的要求，此特殊场景对于人的主观性的要求较高。以大众审美为标准，单个人的标注即个人审美不具有客观性，因此一张食物图片需要经过多人标注，并统计多数人对于这张图片的标注倾向，才能获得相对客观的标注信息。为此我们设计了一个基于游戏模式的食物美学分析标签数据收集方法，该游戏是一种典型的GWAP(Games with apurpose)众包游戏，即让玩家自动地参与游戏，并使其在玩游戏的过程中产生一些有用的元数据(此处为图片的标签)[6]。本发明介绍的游戏是一种隐性众包的模式；目标问题由系统拥有者定义(此处定义为食物图片的审美标注，好看或不好看)；参与者雇佣方式是基于互联网的线上雇佣方式；参与者获取其与好友的默契度数值作为奖励，其在享受娱乐的同时会完成游戏所有者既定的目标[7]。