学爬虫,要看计算机基础哪些书,求推荐,计算机组成啥等,需要看不,
3条回答 默认 最新
关注 熟悉多线程编程、网络编程、HTTP协议相关
开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到)
反爬相关,cookie、ip池、验证码等等
熟练使用分布式
了解企业级爬虫和个人爬虫的差异(企业级爬虫,首先在数据量上跟我们平时学习的时候爬虫,不是同一数量级,数据量大很多。其次,企业级爬虫代码一般部署到专门的爬虫服务器上,采取7*24小时运行,所以需要日志监控,异常维护。)知道什么是深度优先,广度优先的抓取算法,及实践中的使用规则;
能分析简单网站的结构,会使用urllib,urllib2或requests库进行简单的数据抓取;
如有帮助望采纳。本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 1无用
悬赏问题
- ¥15 uniapp uview http 如何实现统一的请求异常信息提示?
- ¥15 有了解d3和topogram.js库的吗?有偿请教
- ¥100 任意维数的K均值聚类
- ¥15 stamps做sbas-insar,时序沉降图怎么画
- ¥15 买了个传感器,根据商家发的代码和步骤使用但是代码报错了不会改,有没有人可以看看
- ¥15 关于#Java#的问题,如何解决?
- ¥15 加热介质是液体,换热器壳侧导热系数和总的导热系数怎么算
- ¥100 嵌入式系统基于PIC16F882和热敏电阻的数字温度计
- ¥15 cmd cl 0x000007b
- ¥20 BAPI_PR_CHANGE how to add account assignment information for service line