[发明专利]一种用于实体匹配的词向量训练方法与系统

权利要求书

1.一种用于实体匹配的词向量训练方法，其特征在于，包括：

属性类型划分步骤：将第一实体集合、第二实体集合中的所有相同属性划分为数值型、类别型和文本型，并将相同类型的属性加入到同一集合中，生成数值型属性集合、类别型属性集合和文本型属性集合；

数值型样本生成步骤：将所述第一实体集合和所述第二实体集合中相同数值型属性的值进行合并、去重、排序和采样，并将采样的结果加入到训练样本集合中；

类别型样本生成步骤：将所述第一实体集合和所述第二实体集合中相同类别型属性的值进行合并、计数和采样，并将采样的结果加入到所述训练样本集合中；

文本型样本生成步骤：将所述第一实体集合和所述第二实体集合中所有文本属性的属性值作为单独的样本加入到所述训练样本集合中；

实体样本生成步骤：将所述第一实体集合和所述第二实体集合中每个实体的所有属性值拼接起来作为单独的样本加入到所述训练样本集合中；

词向量训练步骤：通过所述训练样本集合训练词向量。

2.根据权利要求1所述的用于实体匹配的词向量训练方法，其特征在于，所述数值型样本生成步骤包括：

数值型属性合并步骤：将所述第一实体集合和所述第二实体集合中相同数值型属性的值进行合并；

序列生成步骤：对合并后的所述数值型属性的值进行去重和排序，得到若干个有序的序列；

序列采样步骤：对所有的所述序列分别进行一种基于滑动窗口的采样；

序列添加步骤：将对所有的所述序列进行采样的结果加入到所述训练样本集合中。

3.根据权利要求2所述的用于实体匹配的词向量训练方法，其特征在于，所述序列采样步骤中还包括：所述滑动窗口从所述序列的前端开始移动，直至移动到整个所述序列的末尾结束。

4.根据权利要求1所述的用于实体匹配的词向量训练方法，其特征在于，所述类别型样本生成步骤包括：

类别型属性合并步骤：将所述第一实体集合和所述第二实体集合中相同类别型属性的值进行合并；

计数步骤：对合并后的所述类别型属性的值进行计数，统计各个类别出现的次数；

类别采样步骤：将类别出现的次数作为权重进行不放回采样，获得若干个类别组成的集合；

文本添加步骤：将所述集合转换为文本并加入所述训练样本集合中。

5.根据权利要求4所述的用于实体匹配的词向量训练方法，其特征在于，所述类别型样本生成步骤还包括：若样本数没有达到用户指定值，则返回所述类别采样步骤，直至样本数达到用户指定值。

6.一种用于实体匹配的词向量训练系统，其特征在于，包括：

属性类型划分模块：将第一实体集合、第二实体集合中的所有相同属性划分为数值型、类别型和文本型，并将相同类型的属性加入到同一集合中，生成数值型属性集合、类别型属性集合和文本型属性集合；

数值型样本生成模块：将所述第一实体集合和所述第二实体集合中相同数值型属性的值进行合并、去重、排序和采样，并将采样的结果加入到训练样本集合中；

类别型样本生成模块：将所述第一实体集合和所述第二实体集合中相同类别型属性的值进行合并、计数和采样，并将采样的结果加入到所述训练样本集合中；

文本型样本生成模块：将所述第一实体集合和所述第二实体集合中所有文本属性的属性值作为单独的样本加入到所述训练样本集合中；

实体样本生成模块：将所述第一实体集合和所述第二实体集合中每个实体的所有属性值拼接起来作为单独的样本加入到所述训练样本集合中；

词向量训练模块：通过所述训练样本集合训练词向量。

7.根据权利要求6所述的用于实体匹配的词向量训练系统，其特征在于，所述数值型样本生成模块包括：

数值型属性合并单元：将所述第一实体集合和所述第二实体集合中相同数值型属性的值进行合并；

序列生成单元：对合并后的所述数值型属性的值进行去重和排序，得到若干个有序的序列；

序列采样单元：对所有的所述序列分别进行一种基于滑动窗口的采样；

序列添加单元：将对所有的所述序列进行采样的结果加入到所述训练样本集合中。