howardzen 2022-06-21 13:58 采纳率: 50%
浏览 18
已结题

爬虫如何判断什么时候直接解析，什么时候需要抓包之类的操作？

关于爬虫想提一个问题，有的网站可以直接使用页面的网址，有一些却需要在network里面搜索，然后进行抓包。想请问如何判断什么时候可以直接request网址内容，然后解析，什么时候需要抓包操作？

  • 写回答

1条回答 默认 最新

  • sxn777 2022-06-21 14:13
    关注
    1. 打开网页源代码，如果数据能加载出来，则不需要抓包
    2. 如果数据信息加载不出来，则需要查看network，看看调用的接口里面是否返回
    3. 如果在调用的接口里面查询不到数据，则需要抓包查看
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 9月7日
  • 已采纳回答 8月30日
  • 创建了问题 6月21日

悬赏问题

  • ¥15 下图接收小电路，谁知道原理
  • ¥15 装 pytorch 的时候出了好多问题，遇到这种情况怎么处理？
  • ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
  • ¥15 手机接入宽带网线，如何释放宽带全部速度
  • ¥30 关于#r语言#的问题：如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测
  • ¥15 ETLCloud 处理json多层级问题
  • ¥15 matlab中使用gurobi时报错
  • ¥15 这个主板怎么能扩出一两个sata口
  • ¥15 不是，这到底错哪儿了😭
  • ¥15 关于#matlab#的问题：在模糊控制器中选出线路信息，在simulink中根据线路信息生成速度时间目标曲线（初速度为20m/s，15秒后减为0的速度时间图像）我想问线路信息是什么