[发明专利]一种基于生成式对抗网络的多任务分类消歧方法与装置

说明书

本发明公开了一种基于生成式对抗网络的多任务分类消歧方法与装置，包括：(1)获取文本数据并构建样本集；(2)基于生成式对抗网络构建训练系统，包括用于根据样本数据预测信用水平的第一分类器，用于根据样本数据预测收入水平的第二分类器，用于根据信用标签、收入标签、信用水平预测结果、收入水平预测结果生成编码向量的生成器；(3)根据交叉熵损失构建生成器、第一分类器和第二分类器的损失函数；(4)利用损失函数对训练系统进行训练，并将第一分类器形成信用预测模型，第二分类器形成收入预测模型；(5)将文本数据编码成文本向量后输入至信用预测模型和收入预测模型中，经计算获得信用预测结果和收入预测结果。

技术领域

本发明属于数据分类领域，具体涉及一种基于生成式对抗网络的多任务分类消歧方法与装置。

背景技术

如今，人工智能在多个领域得到了广泛的应用，如在犯罪领域预测犯人将来再犯罪的概率；在贷款领域，利用数据判断一个人的未来信用程度；在司法决策、警力分配、健康管理、学生录取等方面，也越来越偏向使用智能决策。人工智能的学习过程需要建立模型对数据进行学习，然而基于历史数据学习，进行分析决策的系统，会获取延续数据中相关的歧视信息，即带有我们不希望看到的用于最终决策的歧视性预测。如预测个人信用的系统对女性可能会带有偏见，使女性更有可能被判断为低信用群体，这种基于性别的决策会带来不公平的影响，引发人工智能的歧视问题。经过训练的模型大大扩大了目标标签与性别的关联，超出了人们对有偏见的数据集的应有的期望，放大了其中的歧视成分。即便数据集是平衡的，每个标签都与每个性别平等，学习的模型也会放大标签和性别之间的关联，产生不公平的分类现象。

目前针对这一歧视现象，已经出现了多种消歧算法用于减轻分类中的歧视问题。现有的消歧算法主要分为三类：基于原始数据集的消歧方法、基于模型的消歧方法以及基于分类结果的消歧方法。基于原始数据及的消歧方法需要对原始数据集进行修改，或给特征变量加权重值，例如，文献Data preprocessing techniques for classificationwithout discrimination.Knowledge and Information Systems，Faisal Kamiran，ToonCalders(2012)提出的reweighing算法对原始数据集进行处理，加权值以消歧。基于分类结果的消歧衍生出equality odds算法，出自文献Equality of opportunity in supervisedlearning.Hardt,Proceedings of the 30th International Conference on NeuralInformation Processing.M.,Price,E.,Srebro,N..(2016)。

但是，目前的消歧算法都基于单任务的分类任务，只能同时在一个分类任务上进行处理，不能适应日益增长的多种场合的分类需求。在信贷领域中，个人的信用水平和收入水平会作为信贷的评价标准，在这个应用场景中，在评述信用水平和收入水平时往往会存在种族歧视和性别歧视，因为该种族歧视和性别歧视的存在导致信用水平和收入水平评估结果不准确，直接影响信贷。

发明内容

本发明的目的是提供一种基于生成式对抗网络的多任务分类消歧方法与装置，通过消除种族歧视和性别歧视来提升信用水平和收入水平预测准确性。

为实现上述发明目的，本发明提供的技术方案为：

一种基于生成式对抗网络的多任务分类消歧方法，包括以下步骤：

(1)获取文本数据，编码每条文本数据获得文本向量，标记文本向量中的歧视特征，并给出每条文本数据的信用标签和收入标签，以构建样本集；

(2)基于生成式对抗网络构建训练系统，包括用于根据样本数据预测信用水平的第一分类器，用于根据样本数据预测收入水平的第二分类器，用于根据信用标签、收入标签、信用水平预测结果、收入水平预测结果生成编码向量的生成器；