经过设置我只能获取到百度百科和百度文库首页的一些页面,可是我想爬取这两个网站内部的页面,请问该如何配置?有没有人有成功的先例?
比如如果想要爬取百度文库里面的页面crawl-urlfilter.txt里面的正则表达式改如何编写?
多谢指教!
请问为什么我用Nutch爬取不到百度百科和百度文库里面的内容?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答
- abcdwxc 2014-09-19 02:33关注
nutch1.2在crawl-urlfilter.txt设置站点,1.2以上的版本要在regex-urlfilter.txt中配置。
具体是在accept hosts in MY.DOMAIN.NAME下设置要爬取的站点.
例如:accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*.)*baidu.com/
在nutch目录下建个urls文件夹,里面建个baidu.txt文件,里面把要爬取的Url放进去。
http://wenku.baidu.com/
然后运行 bin/nutch crawl urls/baidu.txt -dir baidu/wenku -threads 4 -depth 2 -topN 30本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
- ¥15 如何在scanpy上做差异基因和通路富集?
- ¥20 关于#硬件工程#的问题,请各位专家解答!
- ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
- ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
- ¥30 截图中的mathematics程序转换成matlab
- ¥15 动力学代码报错,维度不匹配
- ¥15 Power query添加列问题
- ¥50 Kubernetes&Fission&Eleasticsearch
- ¥15 報錯:Person is not mapped,如何解決?