闯出一片天 2021-07-14 10:26 采纳率: 100%
浏览 63
已采纳

python爬虫需要学习哪些语言

最近想学习python爬虫,拓展一下知识储备,爬虫需要学习哪些语言

  • 写回答

3条回答 默认 最新

  • CSDN专家-sinJack 2021-07-14 10:32
    关注

    参考:https://www.cnblogs.com/cherish-cxh/p/10025979.html
    熟悉多线程编程、网络编程、HTTP协议相关
    开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到)
    反爬相关,cookie、ip池、验证码等等
    熟练使用分布式
    了解企业级爬虫和个人爬虫的差异(企业级爬虫,首先在数据量上跟我们平时学习的时候爬虫,不是同一数量级,数据量大很多。其次,企业级爬虫代码一般部署到专门的爬虫服务器上,采取7*24小时运行,所以需要日志监控,异常维护。)

    知道什么是深度优先,广度优先的抓取算法,及实践中的使用规则;

    能分析简单网站的结构,会使用urllib,urllib2或requests库进行简单的数据抓取;
    如有帮助望采纳。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 已采纳回答 7月15日
  • 创建了问题 7月14日

悬赏问题

  • ¥15 metadata提取的PDF元数据,如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同
  • ¥50 如何openEuler 22.03上安装配置drbd
  • ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
  • ¥15 无线连接树莓派,无法执行update,如何解决?(相关搜索:软件下载)
  • ¥15 Windows11, backspace, enter, space键失灵