qq_40866353 2021-06-08 18:01 采纳率: 100%
浏览 80
已采纳

爬取豆瓣电影top250最后只保留了一行数据,代码没出错

import requests

from lxml import etree

import time

for a in range(10):

 

    url= "https://movie.douban.com/top250?start={}&filter=".format(a*25)

headers = {

'User-Agent':

    'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3870.400 QQBrowser/10.8.4405.400'

 

}

response= requests.get(url,headers=headers).text

#print(response.text)

#第二步,通过Xpath来获得有效信息

html= etree.HTML(response)

 

lis = html.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li')

for li in lis :

    title = li.xpath("./div/div[2]/div[1]/a/span[1]/text()")[0]

    rating_num = li.xpath("./div/div[2]/div[2]/div/span[2]/text()")[0]

    pj= li.xpath("./div/div[2]/div[2]/div/span[4]/text()")[0]

    href = li.xpath("./div/div[2]/div[1]/a/@href")[0]

    #print(title,rating_num,pj,href)

    time.sleep(0.5)

#保存数据

with open(r"书单",'a+',encoding="utf-8")as f:

    f.write("{},{},{},{}".format(title,rating_num,pj

,href))

    f.write("\n")

  • 写回答

3条回答 默认 最新

  • CSDN专家-HGJ 2021-06-08 18:42
    关注

    #保存数据

    with open(r"书单",'a+',encoding="utf-8")as f:

        f.write("{},{},{},{}".format(title,rating_num,pj,href))

        f.write("\n")

    这段代码不要写在在循环外,要缩进到for li in lis的循环里。

     

    如有帮助请点击采纳。

     

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥30 编写程序,使用XPath爬取模拟图书网站的数据
  • ¥15 安卓13,动态广播无法接受
  • ¥50 docker运行容器端口如何映射(不重启服务、不重建容器)
  • ¥30 使用XPath爬取模拟图书馆网站的数据
  • ¥50 基于TwinCAT3实现力传感器的实时读取
  • ¥20 python求解八元一次不定方程,无数解中随机输出几组即可(相关搜索:用python)
  • ¥50 libreoffice导出PPTX到PDF中的错误换行问题
  • ¥15 python实现网页视频下载
  • ¥15 如何通过深度图获得物体的完整、正确点云?
  • ¥15 有没有操作系统适用白丁的经典的书籍,如何解决?(标签-学习)