天选之人fy 2022-09-19 10:14 采纳率: 60%
浏览 69
已结题

有关爬虫遇到反爬的问题

用爬虫爬取如下网址遇到反爬，用request直接拒绝访问403，请问该如何解决？
https://cn.investing.com/currencies/xbr-usd-historical-data

  • 写回答

4条回答 默认 最新

  • 爱音斯坦牛 全栈领域优质创作者 2022-09-19 10:18
    关注

    headers信息可以追加看看，有可能缺少字段反爬了

    评论

报告相同问题？

  • 爬虫遇到js跳转反爬 python
    2021-06-17 22:05
    回答 3 已采纳 我并没有用过python,有用过php的curl,也有用过c语言的curl. 推荐学习c语言的curl(并不用写c代码 ,只是通过c语言的curl 学习抓取网页所需用到的参数). 相关文章可以参考下
  • 关于xpath爬虫遇到的问题 python 其他 爬虫
    2023-03-13 17:09
    回答 5 已采纳 titles=html.xpath('//*[@class="title"]/a//text()') abstracts=html.xpath('//*[@class="abstract"]') r
  • python爬虫，账号反爬怎么处理 python 爬虫
    2021-09-08 19:39
    回答 3 已采纳 目前来看，账号反爬没有什么太好的应对措施。一旦你的账号确定被反爬了，就只能更换账号了，或者和网站客服沟通。对于账号反爬网站，一般来说，就是ip代理池和账号随机混用，还需要保证ip的质量，地域差异不要太
  • 爬虫遇到反爬机制怎么办? 看看我是如何解决的！
    2021-02-09 17:32
    lyc2016012170的博客 01前言想着爬取『豆瓣』的用户和电影数据进行『挖掘』，分析用户和电影之间以及各自之间的关系，数据量起码是万级别的。但是在爬取过程中遇到了反爬机制，因此这里给大家分享一下如何解决爬虫的反爬问...
  • Python院士爬虫遇到了问题 python 爬虫
    2022-06-12 23:13
    回答 1 已采纳 except后面可以加 e，然后打印e。类似 except Exception as e: print("未知异常：%s" % e) 另外，你这样创建启动进程，似乎有点多。最
  • 【爬虫】爬虫遇到的问题 python 有问必答
    2021-08-23 15:11
    回答 7 已采纳 看起来确实像base64呀emm你把输出都导出到本地html文件里面然后打开试试看?有帮助望采纳
  • 用python做爬虫遇到的问题 python 爬虫
    2021-09-11 14:26
    回答 2 已采纳
  • 编写一个爬虫的思路，当遇到反爬时如何处理！
    2021-01-18 15:15
    爬遍天下无敌手的博客 写了这么多年爬虫了，经常还是会撞上反爬机制。虽然大多数时候都能解决，但是毕竟反爬机制多种...开章明义，当遇到反爬机制时，想要做到把数据爬下来，无非四个方法： 加代理 降速度 破解接口 多注册
  • 关于python爬虫，图片反爬 html python 爬虫
    2022-07-12 00:50
    回答 2 已采纳 不是你爬到的是个静态的html页但是人家的html页其实是动态的，是需要执行js然后修改上面的值的
  • 关于爬虫与反爬的思考？ python
    2022-05-05 21:54
    回答 2 已采纳 没错，黑客有很多种。有写爬虫的黑客，也有黑服务器的黑客，也有偷密码的黑客、窃听的黑客。黑客这个定义很广。我记得数年前有本黑客攻防的书里，花了大篇幅讲了一个故事，是黑客假扮成清洁工，从别人的垃圾篓里找出
  • 爬虫遇到问题（POST请求） python 爬虫
    2021-08-08 17:22
    回答 2 已采纳 你可以调用百度的api，我以前用过 ，只用输入你要说的话，然后对应一个字典设置你的账户秘钥和语音要求，就会自动上传网站生成可以参考这个 https://blog.csdn.net/prajna00
  • 关于爬虫反爬机制处理方法（整合）
    2021-11-11 21:43
    是白白的博客 Agent字段来反爬，如果我们没有设置请求头，那么headers默认是python这样就会出现访问失败、没有权限等原因，如果去伪造一个请求头是可以避开得，不过如果短时间内频繁使用同一个User-Agent访问可能会被检测出来导致...
  • 学习爬虫遇到问题，请各位提供思路 爬虫
    2022-07-15 15:18
    回答 2 已采纳 你看这："//[@id="contentTable"]/tbody" ，你这里是不是有4个双引号，从左往右开始，第一个双引号找离它最近的一个双引号配成一对。"//[@id=""]/tbody"也是一队
  • Python爬虫教程：聊聊反爬爬虫经常遇到的问题及解决方法
    2023-12-07 15:50
    程序员晓晓的博客 反爬原理：在爬虫获取链接进行请求的过程中，爬虫会根据正则，xpath，css等方式进行后续链接的提取，此时服务器端可以设置一个陷阱url，会被提取规则获取，但是正常用户无法获取，这样就能有效的区分爬虫和正常用户...
  • 我去！爬虫遇到字体反爬，哭了
    2021-06-07 00:52
    lyc2016012170的博客 大家好，我是辰哥今天准备爬取某某点评店铺信息时，遇到了『字体』反爬。比如这样的：还有这样的：可以看到这些字体已经被加密（反爬）竟然遇到这种情况，那辰哥就带大家如何去解决这类反爬（字体反爬类...
  • 没有解决我的问题, 去提问

问题事件

  • 已结题 （查看结题原因） 9月26日
  • 创建了问题 9月19日

悬赏问题

  • ¥15 如何在scanpy上做差异基因和通路富集？
  • ¥20 关于#硬件工程#的问题，请各位专家解答！
  • ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错，维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯：Person is not mapped，如何解決？
  • ¥15 c++头文件不能识别CDialog