Gethsemane23 2022-02-22 08:10 采纳率: 100%
浏览 171
已结题

爬虫爬出的数据,print输出可以全部输出,但是写入CSV文件时只能写最后一行

问题遇到的现象和发生背景
问题相关代码,请勿粘贴截图
运行结果及报错内容
我的解答思路和尝试过的方法
我想要达到的结果
import requests
import csv
url1 = 'http://category.dangdang.com/'

url2 = 'cp01.58.03.00.00.00.html'

url3 = url1 + url2
f = open('book.csv', mode='w',encoding='utf-8')
csvwriter = csv.writer(f)
resp = requests.get(url3)
obj = re.compile(r'</div>.*?单品标题" target="_blank" > (?P<name>.*?)</a>.*?target="_blank" title="(?P<chinapublisher>.*?)">.*?p">(?P<commentnum>.*?)</a></p>.*?单品出版社(?P<foreignpublisher>.*?)>', re.S)
result = obj.finditer(resp.text)
for it in result:
    print(it.group("name"))
    print(it.group("chinapublisher"))
    print(it.group("commentnum"))
    print(it.group("foreignpublisher"))
    dic = it.groupdict()
csvwriter.writerow(dic.values())
print('over!')

  • 写回答

3条回答 默认 最新

  • 7*24 工作者 2022-02-22 09:14
    关注
    # -*- coding:utf-8 -*-
    
    import requests
    import csv,re
    
    url1 = 'http://category.dangdang.com/'
    
    url2 = 'cp01.58.03.00.00.00.html'
    
    url3 = url1 + url2
    f = open('book.csv', mode='w', encoding='utf-8')
    csvwriter = csv.writer(f)
    resp = requests.get(url3)
    obj = re.compile(
        r'</div>.*?单品标题" target="_blank" > (?P<name>.*?)</a>.*?target="_blank" title="(?P<chinapublisher>.*?)">.*?p">(?P<commentnum>.*?)</a></p>.*?单品出版社(?P<foreignpublisher>.*?)>',
        re.S)
    result = obj.finditer(resp.text)
    print(result)
    
    for it in result:
        # print(it)
        print(it.group("name"))
        print(it.group("chinapublisher"))
        print(it.group("commentnum"))
        print(it.group("foreignpublisher"))
        dic = it.groupdict()
        csvwriter.writerow(dic.values())              #你上面代码是这个位置问题,改成这样就好了
    print('over!')
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 3月2日
  • 已采纳回答 2月22日
  • 创建了问题 2月22日

悬赏问题

  • ¥15 装 pytorch 的时候出了好多问题,遇到这种情况怎么处理?
  • ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
  • ¥15 手机接入宽带网线,如何释放宽带全部速度
  • ¥30 关于#r语言#的问题:如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测
  • ¥15 ETLCloud 处理json多层级问题
  • ¥15 matlab中使用gurobi时报错
  • ¥15 这个主板怎么能扩出一两个sata口
  • ¥15 不是,这到底错哪儿了😭
  • ¥15 2020长安杯与连接网探
  • ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么