Heritrix爬虫怎么设置setting里面的参数呀,在线~~~

Question

如题,想试用heritrix爬虫,不知道怎么配置..

Answer 1

最简单的配置是只配置以下两个参数：
user-agent: Mozilla/5.0 (compatible; [b]heritrix/1.14.0 [/b]+[b]http://192.168.1.111[/b])

from: [e-mail]

然后点击 submitjob 确认参数设置就可以了。

注意：user-agent中，只需要修改上面两处就可以；from中，只要是e_mail格式就可以。
你可以点击问号，查看每个参数的作用。