[发明专利]一种广电知识图谱构建方法及装置

权利要求书

1.一种广电知识图谱构建方法，其特征在于，包括：

对预设数据源进行分析处理，并存储在数据库中；

基于所述数据库，对用户、节目和套餐进行用户画像、节目标签和套餐标签的画像特征的可视化展示，并从所述数据库中获取人-人、人-节目、人-套餐之间的关系，分别进行知识图谱的可视化展示；

根据所述画像特征和所述知识图谱构建广电行业的知识图谱应用。

2.根据权利要求1所述的方法，其特征在于，

所述数据源包括广电内部的用户收视行为数据、用户订购行为数据、媒资系统数据，以及互联网公开的节目信息数据。

3.根据权利要求1所述的方法，其特征在于，对预设数据源进行分析处理，包括：

步骤一，建立Hive映射表，将HDFS中预处理后的用户收视行为、用户订购行为、媒资系统中的节目信息以及从互联网爬取得到的节目信息的数据导入到Hive数据仓库；

步骤二，用分布式计算框架Spark从用户收视行为和用户订购行为中分别抽取出用户基本属性信息和套餐基本属性信息，并将媒资系统和互联网的节目信息融合后给节目打标签，最后将生成的标签与节目基本属性信息合并后存入Mysql关系型数据库，同理，基于套餐基本属性信息中的包名用自然语言处理技术给套餐打标签，将套餐基本属性信息和套餐标签合并后存入Mysql；

步骤三，用Spark从用户收视行为和订购行为中对用户观看的节目和订购的套餐的标签进行词频统计，分别挑选次数最多的TopN作为用户观看节目的兴趣标签和用户订购套餐的兴趣标签，将用户基本属性信息和用户观看节目的兴趣标签和用户订购套餐的兴趣标签合并后存入Mysql。

4.根据权利要求3所述的方法，其特征在于，所述步骤三之后还包括：

将用Spark从用户收视行为和用户订购行为中抽取出用户-观看-节目，用户-订购-套餐的三元组关系并导入Neo4j图数据库中进行存储。

5.根据权利要求1所述的方法，其特征在于，还包括：构建节目标签。

6.根据权利要求5所述的方法，其特征在于，构建节目标签包括：

步骤一：对节目简介文本进行简繁转换，全部转换为中文后，进行分词处理；

步骤二：利用TF进行词频统计，得到基于所有节目简介分词结果统计的词语词频，并对词频列表进行频率从大到小的排序，使用该词频统计结果，对每个节目简介的分词结果进行过滤，仅保留频率大于预定数值的词语；

步骤三：对选取的高频词语进行去停用词处理；

步骤四：经过去停用词处理后，每个节目简介都会获得一个特征词表，以每个节目的特征词表作为一个样本，构建用于深度学习模型Word2Vec的训练数据；

步骤五：利用该词向量空间及其所提供的相似词语临近特性，应用Kmeans算法计算一个聚类结果；

步骤六：对于聚类结果的每个簇，选择其中最有代表性的一个特征词作为该簇的表示词，并最终对所有节目的特征词对应的表示词进行统计，以统计结果中较重要的表示词作为该节目的标签。

7.根据权利要求6所述的方法，其特征在于，所述步骤四包括：

通过Word2Vec的连续词袋CBOW模型和Hierarchical Softmax框架，利用节目的特征词表作为输入数据进行训练，进而得到了一个足以表征全部特征词的词向量空间，每一个特征词都获得了一个唯一的向量表示，所述CBOW模型包含三层：输入层，投影层和输出层。

8.根据权利要求6所述的方法，其特征在于，所述步骤五包括：

构建一个初始的多类别划分区域，通过计算各个划分区域的质心，在每一轮迭代时不断调整各个样本所属的簇分类，并在下一轮利用新的簇划分结果重新计算质心，如此反复迭代直至稳定，最终可获得一个可靠的聚类结果，以全部特征词在词向量空间中的表示作为输入，构建一个Kmeans模型，训练出特征词的聚类结果，每个特征词将属于一个特定的簇。