m0_46578370 2022-02-17 00:33 采纳率: 40%
浏览 34

爬虫获取网页的方法有哪些

  1. urllib 如何添加头信息 cookies 代理ip 请求体 form-data 以及param

  2. requests (这个比较简单，可以忽略)

  3. pandas(好像可以直接爬取网页表格)好像是pd.read_html(url) 这个仅作了解

  4. httpx 具体使用

  5. aiohttp 怎么使用(好像是异步请求)

  6. socket 自己创建tcp链接，发送http请求报文得到返回数据

  7. request-html 要结合chrome使用
    欢迎补充，以及回答

  • 写回答

1条回答 默认 最新

  • piaoyiren 2022-02-17 07:56
    关注

    还有 selenium 爬虫
    和scrapy爬虫

    评论

报告相同问题？

问题事件

  • 修改了问题 3月9日
  • 修改了问题 2月17日
  • 创建了问题 2月17日

悬赏问题

  • ¥100 我想找人帮我写Python 的股票分析代码，有意请加mathtao
  • ¥15 php 同步电商平台多个店铺增量订单和订单状态
  • ¥15 关于logstash转发日志时发生的部分内容丢失问题
  • ¥17 pro*C预编译“闪回查询”报错SCN不能识别
  • ¥15 微信会员卡接入微信支付商户号收款
  • ¥15 如何获取烟草零售终端数据
  • ¥15 数学建模招标中位数问题
  • ¥15 phython路径名过长报错 不知道什么问题
  • ¥15 深度学习中模型转换该怎么实现
  • ¥15 Stata外部命令安装问题求帮助！