乐山_乐水 2021-05-27 09:23 采纳率: 33.3%
浏览 93
已采纳

python爬取中国气象数据网上的气象数据

最近常在这个网站上下载气象数,包括高空气象数据和地面监测数据。感觉手动挺麻烦了,而且有时候会忘记。不知道有没有大佬知道如何自动爬取该网站的气象数据? 

  • 写回答

1条回答 默认 最新

  • 小P聊技术 2021-05-27 09:28
    关注

    广州天气页面:http://www.weather.com.cn/weather/101280101.shtml

    image

    了解该页面的HTML结构和需要的数据,这里抓取的为时间、该城市的天气内容、最低最高温度(如果有的情况下)。

    image

    使用Pycharm编写Python代码

    创建项目并安装需要的Package:

    image

    编写python文件,引入Packages:

    
    # -*- coding: UTF-8 -*-
    import requests
    import csv
    import random
    import time
    import socket
    import httplib
    from bs4 import BeautifulSoup
    import sys
    reload(sys)
    sys.setdefaultencoding( "utf-8" )

    说明如下:

    • requests:获取页面的HTML源码
    • csv:将获取的数据写入csv文件中
    • random:获取随机数
    • time:时间的相关操作
    • socket,httplib:这里用于异常状况的处理(注:在python3.0版本之前,使用的是httplib包,在此之后,使用的为http.client包,详情见:)
    • BeautifulSoup:用来代替正则式获取源码中相应HTML标签中的内容

    获取网页中的HTML代码:

    def get_content(url, data=None):
        header = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'Accept-Encoding': 'gzip, deflate, sdch',
            'Accept-Language': 'zh-CN,zh;q=0.8',
            'Connection': 'keep-alive',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
        }
        timeout = random.choice(range(80, 180))
        while True:
            try:
                rep = requests.get(url, headers = header, timeout = timeout)
                rep.encoding = 'utf-8'
                break
            except socket.timeout as e:
                print ('3:', e)
                time.sleep(random.choice(range(8, 15)))
            except socket.error as e:
                print ('4:', e)
                time.sleep(random.choice(range(20, 60)))
            except httplib.BadStatusLine as e:
                print ('5:', e)
                time.sleep(random.choice(range(30, 80)))
            except httplib.IncompleteRead as e:
                print ('6:', e)
                time.sleep(random.choice(range(5, 15)))
        return rep.text

    其中:

    • header:request.get函数中一个参数,目的是模拟浏览器访问该页面
    • timeout:设定一个超时的时间,取随机数是为了防止被网站认定爬虫操作
    • rep.encoding = ‘utf-8’:将源代码的编码格式设定为UTF-8,否则会导致中文乱码
    def get_data(html_text):
        final = []
        bs = BeautifulSoup(html_text, "html.parser")# 创建BeautifulSoup对象
        body = bs.body # 获取body部分
        data = body.find('div', {'id':'7d'}) # 找到id=7d的div
        ul = data.find('ul', {'class':'t clearfix'})
        li = ul.find_all('li')
        # print li
     
        for day in li: # 对每个li标签中的内容进行遍历
            temp = []
            # 这里有问题
            date = day.find('h1').string # 找到日期
            temp.append(date)
            inf = day.find_all('p') # 找到li标签中所有的p标签
            temp.append(inf[0].string) # 将第一个p标签中的内容(天气状况)加入到temp中
            if inf[1].find('span') is None:
                temperature_higgest = None # 天气预报可能没有当天的最高气温(到了傍晚,就是这样),需要加一个判断,来输出最低气温
            else:
                temperature_higgest = inf[1].find('span').string # 找到最高气温
                # temperature_higgest = temperature_higgest.replace('℃', '') # 到了晚上网站内容会有变动,去掉这个符号
            temperature_lowest = inf[1].find('i').string # 找到最低温度
            # temperature_lowest = temperature_lowest.replace('℃', '')
            temp.append(temperature_higgest)
            temp.append(temperature_lowest)
            final.append(temp)
        return final

    这里主要用到了BeautifulSoup工具,文档为:http://www.crummy.com/software/BeautifulSoup/bs4/doc/

    从上述网页中的HTML结构可知,我们需要得到id=’7d’的div的ul,日期数据在该ul中的h1标签中,天气情况在该ul的p标签中,最高温度和最低温度在每个li的span和i标签中。

    # 将数据抓取到的文件写入文件
    def write_data(data, name):
        file_name = name
        with open(file_name, 'w') as f:
            f_csv = csv.writer(f)
            f_csv.writerows(data)

    程序主函数:

    
    # 主函数
    if __name__ == '__main__':
        url = 'http://www.weather.com.cn/weather/101280101.shtml'
        html = get_content(url)
        result = get_data(html)
        write_data(result, 'weather.csv')
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥20 找驱动QTR2774-SU-IBM版本驱动
  • ¥15 NeRF的代码复现以及人工智能入门
  • ¥15 centos如何做一个可以让ikuai连接的openvpn
  • ¥15 Protege 中的Entities下面的界面删除了如何复原
  • ¥15 scrapy爬虫求帮
  • ¥15 imageEnView绘图问题
  • ¥15 关于#python#的问题:您好可以加您一下联系方式吗,在复现的时候确实有点问题难以解决
  • ¥15 联想电脑重装系统时无法发现硬盘
  • ¥15 MATLAB与UR10e实体机械臂建立通讯
  • ¥15 c++题需要快一点不用opencv