我想爬取天气网站的信息 (http://lishi.tianqi.com/）。这网站不需要登入。里面有多个城市链接与多个月份可选择。我如何爬取所有城市的所有历史数据？
城市网站代码片段如下：
我现在能想到是BeautifulSoup，Request，re， mysql库。 如何自动提取所有城市信息并存储呢，还是需要其他库进行辅助?
请教大神
python天气历史数据爬取提问
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
Mr.Yun 2019-06-21 19:19关注先爬取http://www.tianqi.com/chinacity.html
这个网站,然后在一个一个遍历,具体操作不懂,可添加微信(yunfu_ag)详细说
解决 无用评论 打赏举报 分享
- 2021-11-11 11:15回答 1 已采纳 先确定需要爬取的网站，然后分析网站的数据来源，是后端生成数据还是ajax生成数据，确定数据来源方式就根据HTTP请求编写代码，这个涉及一些请求参数的加密、转换等等处理，然后清洗数据和数据入库
- 2020-06-01 15:18回答 1 已采纳 抓包看看，尤其注意url上的参数、cookie、postdata、method(get/post)、referer、useragent和content-type
- 2021-06-22 16:13回答 3 已采纳 解题思路：1.用requests.get（网页+搜索关键词）获取搜索页面链接，再get信息页面，bs4解析获取文本保存到excel. 2.从excel读取文本，re.sub(r"[^\w]+", "
- 2020-09-18 05:08主要介绍了用python爬取历史天气数据的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
- 2022-04-29 00:54回答 1 已采纳 是不是最后一页的数据？ 导出覆盖了吧
- 2021-12-22 17:33回答 1 已采纳 你这个是VPN代理问题，你可以将VPN设置成部分代理，不要全部代理你的网络。
- 2021-09-08 18:21回答 2 已采纳 你可以做一下异常处理，将拒绝访问的数据记录下来，然后第二次只爬取被拒绝访问的数据。另外，做爬虫最后还是要做一些应对反爬的措施，比如每次访问之间sleep几秒钟（最好用随机数）。如果，想要做定时的话，可
- 2021-08-15 15:41使用python爬取天气的数据，并将数据打印出来，主要数据为各个省会城市的降雨量，可以根据具体需求更改。本资源适合新手小白和在校学生，使用前请务必查看说明文档 #资源达人分享计划#
- 2021-08-30 12:26回答 2 已采纳 按照下图 这样就可以了
- 2022-11-25 20:06回答 2 已采纳 它这个做了一点点反扒，你需要把标签里面的5取出来，和你的0.9拼在一起。试试下面这个看行不 Moive_score1 = li.xpath('./i/b/text()') Moive_score2 =
- 2021-05-22 21:34回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
- 2023-03-10 17:38吃颗枸杞吧的博客 基于python网络爬虫的历史天气数据采集并做可视化分析
- 2020-09-07 10:20回答 2 已采纳 首先 f12 抓包，看看 ajax 的 json 请求的实际地址是什么，然后用 r = requests.get(request_url) obj = r.json() print(obj.学
- 2022-10-03 15:38炼丹的小道士的博客 如何使用python获取天气信息
- 2021-05-15 22:33Portfolios的博客 使用python爬取历史天气数据 文章目录使用Python爬虫获取城市天气信息（包括历史天气数据）一、准备工作二、完整代码 一、准备工作 python环境3.6.7，需要用到的库主要有re，BeautifulSoup，requests以及pandas...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 求解 yolo算法问题
- ¥15 虚拟机打包apk出现错误
- ¥30 最小化遗憾贪心算法上界
- ¥15 用visual studi code完成html页面
- ¥15 聚类分析或者python进行数据分析
- ¥15 三菱伺服电机按启动按钮有使能但不动作
- ¥15 js，页面2返回页面1时定位进入的设备
- ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
- ¥15 （希望可以解决问题）ma和mb文件无法正常打开，打开后是空白，但是有正常内存占用，但可以在打开Maya应用程序后打开场景ma和mb格式。
- ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝