为什么网站加个UA后可以爬取,但是几次之后就偶尔可以拿到页面啊,然后模拟登入的cookie是选择登入后页面的cookie么
10条回答 默认 最新
- 浴火_凤凰 2020-08-04 23:10关注
记住一个核心就好了:你把自己伪装的越像一个人在使用浏览器上网,反爬对你越不起作用。
UA 是常见的方法 目的是把自己的Python程序伪装成浏览器,cookie应该是权限问题
换句话说 一般需要cookie的页面 直接使用浏览器打开 也不会有内容 还是得登录
你不要总是想破解网站的反爬机制,你应该想的是怎样使自己的程序看起来像是一个人在使用浏览器上网。
解决 1无用
悬赏问题
- ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
- ¥15 vs2019中数据导出问题
- ¥20 云服务Linux系统TCP-MSS值修改?
- ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)
- ¥20 怎么在stm32门禁成品上增加查询记录功能
- ¥15 Source insight编写代码后使用CCS5.2版本import之后,代码跳到注释行里面
- ¥50 NT4.0系统 STOP:0X0000007B
- ¥15 想问一下stata17中这段代码哪里有问题呀
- ¥15 flink cdc无法实时同步mysql数据
- ¥100 有人会搭建GPT-J-6B框架吗?有偿