python爬取中国气象数据网上的气象数据

Question

最近常在这个网站上下载气象数，包括高空气象数据和地面监测数据。感觉手动挺麻烦了，而且有时候会忘记。不知道有没有大佬知道如何自动爬取该网站的气象数据？ 

Answer 1

广州天气页面：http://www.weather.com.cn/weather/101280101.shtml

了解该页面的HTML结构和需要的数据，这里抓取的为时间、该城市的天气内容、最低最高温度（如果有的情况下）。

使用Pycharm编写Python代码

创建项目并安装需要的Package：

编写python文件，引入Packages：

# -*- coding: UTF-8 -*-
import requests
import csv
import random
import time
import socket
import httplib
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

说明如下：

• requests：获取页面的HTML源码
• csv：将获取的数据写入csv文件中
• random：获取随机数
• time：时间的相关操作
• socket，httplib：这里用于异常状况的处理（注：在python3.0版本之前，使用的是httplib包，在此之后，使用的为http.client包，详情见：）
• BeautifulSoup：用来代替正则式获取源码中相应HTML标签中的内容

获取网页中的HTML代码：

def get_content(url, data=None):
    header = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Connection': 'keep-alive',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
    }
    timeout = random.choice(range(80, 180))
    while True:
        try:
            rep = requests.get(url, headers = header, timeout = timeout)
            rep.encoding = 'utf-8'
            break
        except socket.timeout as e:
            print ('3:', e)
            time.sleep(random.choice(range(8, 15)))
        except socket.error as e:
            print ('4:', e)
            time.sleep(random.choice(range(20, 60)))
        except httplib.BadStatusLine as e:
            print ('5:', e)
            time.sleep(random.choice(range(30, 80)))
        except httplib.IncompleteRead as e:
            print ('6:', e)
            time.sleep(random.choice(range(5, 15)))
    return rep.text

其中：

• header：request.get函数中一个参数，目的是模拟浏览器访问该页面
• timeout：设定一个超时的时间，取随机数是为了防止被网站认定爬虫操作
• rep.encoding = ‘utf-8’：将源代码的编码格式设定为UTF-8，否则会导致中文乱码

def get_data(html_text):
    final = []
    bs = BeautifulSoup(html_text, "html.parser")# 创建BeautifulSoup对象
    body = bs.body # 获取body部分
    data = body.find('div', {'id':'7d'}) # 找到id=7d的div
    ul = data.find('ul', {'class':'t clearfix'})
    li = ul.find_all('li')
    # print li
 
    for day in li: # 对每个li标签中的内容进行遍历
        temp = []
        # 这里有问题
        date = day.find('h1').string # 找到日期
        temp.append(date)
        inf = day.find_all('p') # 找到li标签中所有的p标签
        temp.append(inf[0].string) # 将第一个p标签中的内容（天气状况）加入到temp中
        if inf[1].find('span') is None:
            temperature_higgest = None # 天气预报可能没有当天的最高气温（到了傍晚，就是这样），需要加一个判断，来输出最低气温
        else:
            temperature_higgest = inf[1].find('span').string # 找到最高气温
            # temperature_higgest = temperature_higgest.replace('℃', '') # 到了晚上网站内容会有变动，去掉这个符号
        temperature_lowest = inf[1].find('i').string # 找到最低温度
        # temperature_lowest = temperature_lowest.replace('℃', '')
        temp.append(temperature_higgest)
        temp.append(temperature_lowest)
        final.append(temp)
    return final

这里主要用到了BeautifulSoup工具，文档为：http://www.crummy.com/software/BeautifulSoup/bs4/doc/

从上述网页中的HTML结构可知，我们需要得到id=’7d’的div的ul，日期数据在该ul中的h1标签中，天气情况在该ul的p标签中，最高温度和最低温度在每个li的span和i标签中。

# 将数据抓取到的文件写入文件
def write_data(data, name):
    file_name = name
    with open(file_name, 'w') as f:
        f_csv = csv.writer(f)
        f_csv.writerows(data)

程序主函数：

# 主函数
if __name__ == '__main__':
    url = 'http://www.weather.com.cn/weather/101280101.shtml'
    html = get_content(url)
    result = get_data(html)
    write_data(result, 'weather.csv')