鸿 鸿 2022-10-01 09:39 采纳率: 92.7%
浏览 109
已结题

学爬虫,要看计算机基础哪些书,求推荐,计算机组成啥等

学爬虫,要看计算机基础哪些书,求推荐,计算机组成啥等,需要看不,

  • 写回答

3条回答 默认 最新

  • Java Fans 全栈领域优质创作者 2022-10-01 10:19
    关注

    熟悉多线程编程、网络编程、HTTP协议相关
    开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到)
    反爬相关,cookie、ip池、验证码等等
    熟练使用分布式
    了解企业级爬虫和个人爬虫的差异(企业级爬虫,首先在数据量上跟我们平时学习的时候爬虫,不是同一数量级,数据量大很多。其次,企业级爬虫代码一般部署到专门的爬虫服务器上,采取7*24小时运行,所以需要日志监控,异常维护。)

    知道什么是深度优先,广度优先的抓取算法,及实践中的使用规则;

    能分析简单网站的结构,会使用urllib,urllib2或requests库进行简单的数据抓取;
    如有帮助望采纳。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 10月1日
  • 已采纳回答 10月1日
  • 创建了问题 10月1日

悬赏问题

  • ¥15 win2012磁盘空间不足,c盘正常,d盘无法写入
  • ¥15 用土力学知识进行土坡稳定性分析与挡土墙设计
  • ¥70 PlayWright在Java上连接CDP关联本地Chrome启动失败,貌似是Windows端口转发问题
  • ¥15 帮我写一个c++工程
  • ¥30 Eclipse官网打不开,官网首页进不去,显示无法访问此页面,求解决方法
  • ¥15 关于smbclient 库的使用
  • ¥15 微信小程序协议怎么写
  • ¥15 c语言怎么用printf(“\b \b”)与getch()实现黑框里写入与删除?
  • ¥20 怎么用dlib库的算法识别小麦病虫害
  • ¥15 华为ensp模拟器中S5700交换机在配置过程中老是反复重启