转：cygwin简单应用及Nutch之Crawler工作流程

Nutch之Crawler工作流程

在Nutch中，Crawler操作的实现是通过一系列子操作的实现来完成的。这些子操作Nutch都提供了子命令行可以单独进行调用。下面就是这些子操作的功能描述以及命令行，命令行在括号中。
1) 建立初始 URL集
2) 将 URL 集注入 crawldb数据库---inject
3) 根据 crawldb数据库创建抓取列表---generate
4) 执行抓取，获取网页信息---fetch
5) 更新数据库，把获取到的页面信息存入数据库中---updatedb
6) 重复进行 3～5的步骤，直到预先设定的抓取深度。---这个循环过程被称为“产生/抓取/更新”循环

7)  根据sengments 的内容更新linkdb数据库---invertlinks
8)  建立索引---index

9) 在索引中丢弃有重复内容的网页和重复的URLs (dedup).
10) 将segments中的索引进行合并生成用于检索的最终index(merge).

 在创建一个WebDB之后，“产生/抓取/更新”循环(步骤3－6)根据一些种子URLs开始启动。当这个循环彻底结束，Crawler根据抓取中生成的segments创建索引（步骤7－10）。在进行重复URLs清除（步骤9）之前，每个segment的索引都是独立的（步骤8）。最终，各个独立的segment索引被合并为一个最终的索引index（步骤10）。
　　其中有一个细节问题，Dedup操作主要用于清除segment索引中的重复URLs，但是我们知道，在WebDB中是不允许重复的URL存在的，那么为什么这里还要进行清除呢？原因在于抓取的更新。比方说一个月之前你抓取过这些网页，一个月后为了更新进行了重新抓取，那么旧的segment在没有删除之前仍然起作用，这个时候就需要在新旧segment之间进行除重。

Nutch本身的命令：

抓取：bin/nutch crawl urls -dir data -threads 5 -depth

读取crawlDB:bin/nutch readdb data/crawldb -stats