吗喽也是命 2023-04-01 16:27 采纳率: 50%
浏览 29
已结题

在爬取网页数据数据解析完成,一共返回九个列表,然后发现解析出的数据前三个的格式都有问题,在返回的列表中有\r\n和大量空格,请问怎么去掉这个?

import requests
from lxml import etree
if __name__ == '__main__':
    url = 'http://www.tianqihoubao.com/aqi/'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.204 Safari/537.36'
    }
    page_text = requests.get(url=url, headers=headers).text
    tree = etree.HTML(page_text)
    city_list = tree.xpath('//div[@class="citychk"]/dl/dd')
    city_list = city_list[1:]
    for dd in city_list:
        #  获取城市名称和href和url
        city_name = dd.xpath('./a/text()')[0]
        city_name = city_name.encode('iso-8859-1').decode('gbk')
        # print(city_name)
        city_href = dd.xpath('./a/@href')[0]
        city_url = 'http://www.tianqihoubao.com' + city_href
        #  获取url响应数据
        city_AQI = requests.get(url=city_url, headers=headers).text
        city_tree = etree.HTML(city_AQI)
        city_aqi_list = city_tree.xpath('//div[@class="box p"]//li')[4:16]
        # print(city_aqi_list)
        for li in city_aqi_list:
            #  aqi每个月的url获取
            li_name = li.xpath('./a/@title')[0]
            li_href = li.xpath('./a/@href')[0]
            li_url = 'http://www.tianqihoubao.com' + li_href
            #  获取每个月aqi详细数据
            li_page = requests.get(url=li_url, headers=headers).text
            li_tree = etree.HTML(li_page)
            li_list = li_tree.xpath('//div[@class="api_month_list"]//tr')
            title = li_list[0]
            # print(li_list)
            path = city_name + li_name + '.txt'
            with open(path, 'w', encoding='utf-8') as fp:
                for data in li_list[1:]:
                    data_name = data.xpath('./td[1]/text()')
                    data_name = list(filter(None,data_name))
                    print(data_name)
                    grade = data.xpath('./td[2]/text()')
                    grade = list(filter(None, grade))
                    print(grade)
                    AQI = data.xpath('./td[3]/text()')
                    AQI = list(filter(None, AQI))
                    print(AQI)
                    PM25 = data.xpath('./td[5]/text()')
                    print(PM25)
                    PM10 = data.xpath('./td[6]/text()')
                    print(PM10)
                    So2 = data.xpath('./td[7]/text()')
                    print(So2)
                    No2 = data.xpath('./td[8]/text()')
                    print(No2)
                    Co = data.xpath('./td[9]/text()')
                    print(Co)
                    O3 = data.xpath('./td[10]/text()')
                    print(O3)
-

img

  • 写回答

2条回答 默认 最新

  • cjh4312 2023-04-01 16:44
    关注

    strip()

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 4月15日
  • 已采纳回答 4月7日
  • 修改了问题 4月1日
  • 修改了问题 4月1日
  • 展开全部

悬赏问题

  • ¥15 slaris 系统断电后,重新开机后一直自动重启
  • ¥15 51寻迹小车定点寻迹
  • ¥15 谁能帮我看看这拒稿理由啥意思啊阿啊
  • ¥15 关于vue2中methods使用call修改this指向的问题
  • ¥15 idea自动补全键位冲突
  • ¥15 请教一下写代码,代码好难
  • ¥15 iis10中如何阻止别人网站重定向到我的网站
  • ¥15 滑块验证码移动速度不一致问题
  • ¥15 Utunbu中vscode下cern root工作台中写的程序root的头文件无法包含
  • ¥15 麒麟V10桌面版SP1如何配置bonding