[发明专利]数据训练方法和装置

说明书

本发明实施例提供一种数据训练方法和装置，在所述源领域的训练数据和所述新领域的训练数据中确定共享数据；根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。可以基于源领域和新领域的相似性，利用源领域的训练数据，减少构建新领域训练数据模型的成本，可以快速准确的满足新领域的检索需求。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据训练方法和装置。

背景技术

在现有的自动问答技术中，最常见的是机器阅读理解技术，但是这种技术存在很多的限制，例如，需要人工进行知识提炼，让机器在事先准备好的问答对基础上进行检索。但是，这种基于深度学习的机器阅读理解技术往往非常复杂，需要大量的数据做训练，这些数据通常是针对特定领域所构建的，例如，淘宝活动规则问答场景，税务法规问答场景等。

当我们需要在一个新的领域应用上述机器阅读理解技术时，一种是使用现有的数据训练模型，由于应用领域变化将导致检索性能下降，无法满足新的业务的需求；另一种是在新领域直接训练数据训练模型，但是由于短时间内无法提供大量的训练数据，甚至面临无数据的情况，因此时间成本比较高，也会导致无法满足新业务的需求。

发明内容

本发明提供一种数据训练方法和装置,基于源领域和新领域的相似性，利用源领域的训练数据，减少构建新领域训练数据模型的成本，可以快速准确的满足新领域的检索需求。

本发明实施例提供一种数据训练方法，包括：

在源领域的训练数据和新领域的训练数据中确定共享数据；

根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据；

将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果。

可选地，在所述源领域的训练数据和所述新领域的训练数据中确定共享数据包括：

根据共享参数，将所述源领域的训练数据和所述新领域的训练数据进行共享训练，将所述源领域的训练数据和所述新领域的训练数据中通用的数据确定为共享数据；

所述共享参数为共享训练时得到所述共享数据而设置的在所述源领域和所述新领域中相互完全共享的参数。

可选地，根据确定的所述共享数据，在新领域的训练数据中确定新领域的独立数据，包括：

根据所述共享数据中携带的领域标识，在所述共享数据中确定属于新领域的共享数据；

根据新领域的共享数据，在新领域的训练数据中确定新领域的独立数据。

可选地，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果，包括：

根据新领域的独立参数，将所述新领域的独立数据和所述共享数据进行数据训练，输出新领域的训练结果；

所述新领域的独立参数包括新领域的独立训练目标而设置的参数。

可选地，所述的方法还包括：

根据确定的所述共享数据，在源领域的训练数据中确定源领域的独立数据；

根据源领域的独立参数，将所述源领域的独立数据和所述共享数据进行数据训练，输出源领域的训练结果。

可选地，所述的方法还包括：

比较所述源领域的训练结果和所述新领域的训练结果之间的差异性，若大于等于差异阈值，则停止训练；