[发明专利]借助于参考网络抓取建立网络语料库

权利要求书

1.一种用于建立网络语料库(WCD)的计算机实现方法，包括以下步骤：

-提供利用参考网络爬虫(RWC)建立且可由参考网络抓取代理(RWCA)访问的参考网络抓取(RWCD)以及根据所述参考网络抓取(RWCD)建立的参考索引(RID)；并且随后

-由网络爬虫(WC)发送索引查询至所述参考索引(RID)；

-由所述网络爬虫(WC)接收来自所述参考索引的响应；并且随后

-利用所述网络爬虫(WC)来建立网络抓取(WCD)，

其中，所述建立所述网络抓取(WCD)包括：

-由所述网络爬虫(WC)发送查询至所述参考网络抓取代理(RWCA)，所述查询包含资源的至少一个标识符，其中，将所述查询发送至所述参考网络抓取代理(RWCA)是基于来自所述参考索引的所述响应的内容来完成的；

-由所述网络爬虫(WC)接收来自所述参考网络抓取代理(RWCA)的响应；

-如果来自所述参考网络抓取代理(RWCA)的响应不包含由所述标识符所识别的资源，则通过所述网络爬虫(WC)从与所述标识符相对应的网站(WS)下载所述资源，并且将所述资源添加到所述网络语料库(WCD)；以及，

-如果来自所述参考网络抓取代理(RWCA)的响应包含由所述标识符所识别的资源，则将所述资源添加到所述网络语料库(WCD),

其中，所述参考网络抓取代理(RWCA)依照所述参考网络抓取(RWCD)的内容建立响应。

2.根据权利要求1所述的计算机实现方法，其中，如果所述参考网络抓取代理(RWCA)确定所述资源没有包含在所述参考网络抓取(RWCD)中，则将发起下载所述资源并添加到所述参考网络抓取(RWCD)。

3.根据权利要求1或2所述的计算机实现方法，其中，所述索引查询包含资源的标识符，并且其中，如果所述响应包含与所述资源有关的索引信息，则依照所述索引信息，决定是否发送查询至所述参考网络抓取代理(RWCA)。

4.根据权利要求1或2所述的计算机实现方法，其中，所述索引查询包括查询标准，并且所述参考索引的所述响应包含标识符的列表。

5.根据权利要求4所述的计算机实现方法，其中，所述参考索引的所述响应另外包含与所述标识符对应的索引信息。

6.根据权利要求1或2所述的计算机实现方法，其中，所述索引查询包括标识符，并且其中，所述参考索引发送包含一组标识符的响应，所述一组标识符包含于由所述标识符所识别的资源中。

7.根据权利要求1或2所述的计算机实现方法，其中，所述标识符是URL。

8.一种适用于建立网络语料库(WCD)的网络爬虫(WC)，所述网络爬虫(WC)具有用于通过与参考网络爬虫代理(RWCA)通信来执行如权利要求1到7中任一项所述的方法的部件。

9.一种参考网络爬虫代理(RWCA)，具有用于通过与网络爬虫(WC)通信来执行如权利要求1到7中任一项所述的方法的部件。

10.一种系统，包括：根据权利要求8所述的网络爬虫，根据权利要求9所述的参考网络爬虫代理(RWCA)，可由根据权利要求9所述的参考网络抓取代理(RWCA)访问的参考网络抓取，和/或用于建立所述参考网络抓取(RWCD)的参考网络爬虫。