吗喽也是命 2023-04-01 16:27 采纳率: 50%
浏览 29
已结题

在爬取网页数据数据解析完成,一共返回九个列表,然后发现解析出的数据前三个的格式都有问题,在返回的列表中有\r\n和大量空格,请问怎么去掉这个?

import requests
from lxml import etree
if __name__ == '__main__':
    url = 'http://www.tianqihoubao.com/aqi/'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.204 Safari/537.36'
    }
    page_text = requests.get(url=url, headers=headers).text
    tree = etree.HTML(page_text)
    city_list = tree.xpath('//div[@class="citychk"]/dl/dd')
    city_list = city_list[1:]
    for dd in city_list:
        #  获取城市名称和href和url
        city_name = dd.xpath('./a/text()')[0]
        city_name = city_name.encode('iso-8859-1').decode('gbk')
        # print(city_name)
        city_href = dd.xpath('./a/@href')[0]
        city_url = 'http://www.tianqihoubao.com' + city_href
        #  获取url响应数据
        city_AQI = requests.get(url=city_url, headers=headers).text
        city_tree = etree.HTML(city_AQI)
        city_aqi_list = city_tree.xpath('//div[@class="box p"]//li')[4:16]
        # print(city_aqi_list)
        for li in city_aqi_list:
            #  aqi每个月的url获取
            li_name = li.xpath('./a/@title')[0]
            li_href = li.xpath('./a/@href')[0]
            li_url = 'http://www.tianqihoubao.com' + li_href
            #  获取每个月aqi详细数据
            li_page = requests.get(url=li_url, headers=headers).text
            li_tree = etree.HTML(li_page)
            li_list = li_tree.xpath('//div[@class="api_month_list"]//tr')
            title = li_list[0]
            # print(li_list)
            path = city_name + li_name + '.txt'
            with open(path, 'w', encoding='utf-8') as fp:
                for data in li_list[1:]:
                    data_name = data.xpath('./td[1]/text()')
                    data_name = list(filter(None,data_name))
                    print(data_name)
                    grade = data.xpath('./td[2]/text()')
                    grade = list(filter(None, grade))
                    print(grade)
                    AQI = data.xpath('./td[3]/text()')
                    AQI = list(filter(None, AQI))
                    print(AQI)
                    PM25 = data.xpath('./td[5]/text()')
                    print(PM25)
                    PM10 = data.xpath('./td[6]/text()')
                    print(PM10)
                    So2 = data.xpath('./td[7]/text()')
                    print(So2)
                    No2 = data.xpath('./td[8]/text()')
                    print(No2)
                    Co = data.xpath('./td[9]/text()')
                    print(Co)
                    O3 = data.xpath('./td[10]/text()')
                    print(O3)
-

img

  • 写回答

2条回答 默认 最新

  • cjh4312 2023-04-01 16:44
    关注

    strip()

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 4月15日
  • 已采纳回答 4月7日
  • 修改了问题 4月1日
  • 修改了问题 4月1日
  • 展开全部

悬赏问题

  • ¥100 数字取证课程 关于FAT文件系统的操作
  • ¥15 如何使用js实现打印时每页设置统一的标题
  • ¥15 安装TIA PortalV15.1报错
  • ¥15 能把水桶搬到饮水机的机械设计
  • ¥15 Android Studio中如何把H5逻辑放在Assets 文件夹中以实现将h5代码打包为apk
  • ¥15 使用小程序wx.createWebAudioContext()开发节拍器
  • ¥15 关于#爬虫#的问题:请问HMDB代谢物爬虫的那个工具可以提供一下吗
  • ¥15 vue3+electron打包获取本地视频属性,文件夹里面有ffprobe.exe 文件还会报错这是什么原因呢?
  • ¥20 用51单片机控制急停。
  • ¥15 孟德尔随机化结果不一致