[发明专利]一种项目信息标准化方法及装置

权利要求书

1.一种项目信息标准化方法，其特征在于，包括：

接收外部输入的抓取规则和至少一个标准词；

根据所述抓取规则，从至少一个网站中抓取至少一个项目的项目信息；

针对所述至少一个标准词中的每一个标准词，将所述至少一个项目信息中所包括项目名称与所述标准词语义相近的项目信息划分为一个项目信息分组；

针对每一个所述项目信息分组，对所述项目信息分组包括的各个所述项目信息关联相同的标准项目名称和标准项目编码；

针对每一个所述项目信息，在所述项目信息对应的网站上，将所述项目信息与对应的所述标准项目名称和所述标准项目编码进行关联；

所述根据所述抓取规则从至少一个网站中抓取至少一个项目的项目信息，包括：

根据所述抓取规则包括的至少一个统一资源定位符URL，连接至少一个网站；

在预设的爬取时长内，根据所述抓取规则包括的抓取范围，从所述至少一个网站中抓取至少一个项目的项目信息；

所述将所述至少一个项目信息中所包括项目名称与所述标准词语义相近的项目信息划分为一个项目信息分组，包括：

根据预先设定的分词规则，将所述标准词拆分为至少两个第一相似词，其中，各个所述第一相似词之间语义不相近；

针对每一个所述项目信息，根据所述分词规则将所述项目信息包括的所述项目名称拆分为至少两个第二相似词，其中，各个所述第二相似词之间语义不相近；

分别确定每一个所述项目信息对应的所述至少两个第二相似词中所述第一相似词所占的个数比例；

将所对应的所述个数比例大于预先设定比例阈值的所述项目信息划分为一组，作为所述标准词对应的项目信息分组。

2.根据权利要求1所述的方法，其特征在于，

在所述根据预先设定的分词规则将所述标准词拆分为至少两个第一相似词之前，进一步包括：

预先设定至少一个停用词；

将所述标准词所包括的所述停用词删除；

和/或，

在所述根据所述分词规则将所述项目信息包括的所述项目名称拆分为至少两个第二相似词之前，进一步包括：

预先设定至少一个停用词；

将所述项目名称所包括的所述停用词删除。

3.根据权利要求1至2中任一所述的方法，其特征在于，

所述对所述项目信息分组包括的各个所述项目信息关联相同的标准项目名称和标准项目编码，包括：

将所述项目信息分组所对应的所述标准词作为所述标准项目名称，分别与所述项目信息分组包括的各个所述项目信息关联；

将与所述项目信息分组对应的所述标准词所对应的项目编码作为所述标准项目编码，分别与所述项目信息分组包括的各个所述项目信息关联。

4.一种项目信息标准化装置，其特征在于，包括：

接收单元，用于接收外部输入的抓取规则和至少一个标准词；

信息抓取单元，用于根据所述接收单元接收的所述抓取规则，从至少一个网站中抓取至少一个项目的项目信息；

信息处理单元，用于针对所述接收单元接收的所述至少一个标准词中的每一个标准词，将所述信息抓取单元抓取的所述至少一个项目信息中所包括项目名称与所述标准词语义相近的项目信息划分为一个项目信息分组；针对每一个所述项目信息分组，对所述项目信息分组包括的各个所述项目信息关联相同的标准项目名称和标准项目编码；

信息关联单元，用于针对每一个所述项目信息，在所述项目信息对应的网站上，将所述项目信息与所述信息处理单元确定的相应所述标准项目名称和所述标准项目编码进行关联；

所述信息抓取单元，根据所述抓取规则包括的至少一个URL，连接至少一个网站；在预设的爬取时长内，根据所述抓取规则包括的抓取范围，从所述至少一个网站中抓取至少一个项目的项目信息；

所述信息处理单元，用于根据预先设定的分词规则，将所述标准词拆分为至少两个第一相似词，其中，各个所述第一相似词之间语义不相近；针对每一个所述项目信息，根据所述分词规则将所述项目信息包括的所述项目名称拆分为至少两个第二相似词，其中，各个所述第二相似词之间语义不相近；分别确定每一个所述项目信息对应的所述至少两个第二相似词中所述第一相似词所占的个数比例；将所对应的所述个数比例大于预先设定比例阈值的所述项目信息划分为一组，作为所述标准词对应的项目信息分组。