[发明专利]一种基于文本内容的信息源识别方法与装置

说明书

本发明提供一种基于文本内容的信息源识别方法，适用于非结构化的文本，即自由文本，包括以下步骤：将输入的文本按句子切分并分词；识别出各句子中包含的类型为信息源的实体；如所述实体为其所在句子的信息源，则将其作为一信息源实体；整合各句子得到的信息源实体，作为文本信息识别结果。可以不依赖于网页结构化信息，不依赖于人工特征提取，通过分析文本内容，自动识别非结构化文本的信息源。同时提供对应实现上述方法的装置。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于文本内容的信息源识别方法与装置。

背景技术

信息源作为动态信息的载体，是实施动态监测的重要基础保障，识别文本的信息源，可以用来构建信息源知识库，支撑领域动态信息获取。另一方面，文本中包含更多信息源往往意味着更强的参考性，更高的文本质量，利用文本信息源识别，可以进行文本过滤，从大量文本中筛选出有价值的信息。已有的关于信息源的研究多集中在信息源的特征和分类，信息源挖掘和体系构建，信息源发现等方向，具体到信息源识别的研究较少，仅在阐述实验过程中提及实现方法。已有的报文信息源的识别有基于规则等方法。而对网络信息源的识别主要针对结构化页面，基于链接关系，如网页的内链信息，社交网络的链接引用，或基于来源标注，如门户网站的转载标注，得到文本的信息源。

网络文本信息量大，信息传播快，信息获取成本低廉，已成为重要信息源渠道。同时，由于互联网版权法规的不健全、操作难度大、违法成本低以及运作习惯等，各网站间的相互引用繁杂而混乱，且缺乏明显的引用标志。已有的信息源识别方法，仅依赖页面的链接关系或结构化信息标注，无法处理大量的非结构化页面的信息源识别。而基于规则的方法需要人工提取大量特征，工作量大，且领域间通用性差，不能满足实际的处理需求。

发明内容

针对上述问题，本发明的目的在于提供一种基于文本内容的信息源识别方法及装置，可以不依赖于网页结构化信息，不依赖于人工特征提取，通过分析文本内容，自动识别非结构化文本的信息源。

为达上述目的，本发明采取的技术方案是：

一种基于文本内容的信息源识别方法，适用于非结构化的文本，即自由文本，包括以下步骤：

将输入的文本按句子切分并分词；

识别出各句子中包含的类型为信息源的实体；

如所述实体为其所在句子的信息源，则将其作为一信息源实体；

整合各句子得到的信息源实体，作为文本信息识别结果。

进一步地，对输入的文本按句子切分并分词时，设定一预设句子长度(句子长度指词的数量)，并通过截取或补充的方式使各句子长度与该预设句子长度一致。

进一步地，所述类型为信息源的实体为属于媒体名称指示词的词构成的序列。

进一步地，通过采用基于双向LSTM的实体识别方法，各句子中包含的类型为信息源的实体。

进一步地，通过下述步骤识别出各句子中包含的类型为信息源的实体：

用基于百度百科训练word2vec得到的词向量表示句子中的每个词；

在模型训练和测试时，输入为词向量序列，输出为与词向量序列等长的标签序列；

标签采用2tag方法，若词属于媒体名称指示词，则对应标签为‘1’，否则标签为‘0’；

网络结构包括输入层，双向LSTM层和输出层；

依据测试数据得到的序列结果将多个标签为‘1’的词拼接起来，即为句子中包含的类型为信息源的实体。

进一步地，通过采用基于CNN的句子分类方法，判定类型为信息源的实体是否为其所在句子的信息源。