1条回答 默认 最新
CSDN专家-showbo 2021-12-24 16:00关注首先确认浏览器能正常访问页码为10以后的，如果浏览器都不能正常访问那应该程序限制了只允许访问最新9页的结果。
能访问可以通过浏览器开发工具看下10页之后是不是新增了什么请求头，要加上。不过话说题主这个2个网站能访问吗？我这里显示504连接源站超时
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 编辑记录
分享
- 2022-04-10 22:54回答 1 已采纳 import requests print(requests.get('http://httpbin.org/get').json()) 服务器在漂亮国
- 2021-10-31 23:19回答 1 已采纳 beautifulsoup是爬静态网页的，应该是有些内容属于动态，可以尝试selenium
- 2021-09-06 03:21回答 2 已采纳 可以通过打印status code做判断，判别出超时或者非200的status就按逻辑重连几次有帮助望采纳
- 2021-08-14 09:34回答 4 已采纳 f 在字符串外面 a = input() url = f'https://movie.douban.com/top250?start={a}&filter=' 或者 a = 'abc' b = '
- 2022-10-26 16:35回答 1 已采纳 post和get方法的使用不是你决定的，二十接口使用的是什么请求方式，如果它是get请求那就只能用get请求，是post就只能用post
- 2021-07-30 00:11回答 4 已采纳 对你有帮助的话，建议采纳。
- 2020-12-05 02:41weixin_39607447的博客 如果大家在采集网站信息的时候，特别频繁的来访问，非常容易被目标网站检测到从而进行屏蔽，解决这类情况的一种有效的方法就是使用代理IP，当我们连上网络上网的时候，电脑会被分配一个IP，提供给我们使用，如果我们...
- 2022-01-21 09:58回答 2 已采纳 将请求头的参数都设置进去，然后在独立设置cookie参数
- 2022-04-05 22:09回答 3 已采纳 因为 个别标签字典中没有bond_nm和bond_nm_tip键 data2 = data_get['bond_nm'] data5 = data_get['bond_nm_tip']
- 2022-05-12 14:48回答 2 已采纳 这代码里面好多错误，你是怎么运行成功的？
- 2020-09-18 12:32本文将详细介绍如何利用Python爬虫来增加播客的访问量，这是一个涉及网络请求、数据解析、以及反反爬虫策略的高级应用。 ### 关键技术点 - **网络请求库（requests）**：Python中用于发送HTTP请求的一个库，其简洁...
- 2024-07-04 22:58qwy715229258163的博客 网络爬虫（Web Crawler）又称网络蜘蛛、网络机器人，它是一种按照一定规则，自动浏览万维网的程序或脚本。通俗地讲，网络爬虫就是一个模拟真人浏览万维网行为的程序，这个程序可以代替真人自动请求万维网，并...
- 2020-09-20 10:132. **请求头**：设置合适的User-Agent，防止被网站识别为爬虫而屏蔽。 3. **延时策略**：为了避免频繁请求导致服务器压力过大，可以设置请求间隔。 4. **遵守Robots协议**：尊重网站的爬虫规则，不爬取禁止抓取的...
- 2024-09-14 22:34Mr数据杨的博客 在本教程中，我们深入探讨了如何使用 Python 的requests库进行网络爬虫开发。通过对各个主题的逐步讲解，我们了解了如何使用requests库进行静态和动态页面的数据抓取，处理网络请求中的异常情况，进行 HTTP 认证，...
- 没有解决我的问题, 去提问
问题事件
系统已结题
1月5日
已采纳回答
12月28日-
修改了问题
12月24日
-
创建了问题
12月24日