冰淇淋 2023-01-15 22:03 采纳率: 100%
浏览 60
已结题

用xpath抓取图片结果为空,求解答!

#!/usr/bin/env.python
# -*- coding: utf-8 -*-
import requests
from lxml import etree
import os
if __name__ == "__main__":
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.52'
    }
    url = 'https://pic.netbian.com/4kfengjing/'
    page_text = requests.get(url=url,headers=headers).text
    tree = etree.HTML('page_text')
    li_list = tree.xpath('//div[@class="slist"]/ul/li')
    if not os.path.exists('./picLibs'):
        os.mkdir('./picLibs')
    for li in li_list:
        img_src = 'https://pic.netbian.com'+li.xpath('./a/img/@src')[0]
        img_name = li.xpath('./a/img/@alt')[0]+'.jpg'
        img_name = img_name.encode('iso-8859-1').decode('gbk')
        #print(img_src,img_name)
        img_data = requests.get(url=img_src,headers=headers).content
        img_path = 'picLibs/' +img_name
        with open(img_path,'w') as fp:
            fp.write(img_data)
            print(img_name, '下载成功')

然后结果是如下,并且picLibs文件夹中也是空的。

img

我百度了类似问题的原因但都不是以下原因:1、需要爬取的内容在静态源代码可以找到;2、xpath的内容不是直接复制路径,所以没有tbody的问题;3、把User-Agent从chorm换成了edge也没用。

p.s.上一个练习xpath使用方法时也出现类似情况,有没有请求频繁或者IP被封的可能?再想请问下IP被封是因为什么?因为我最近刚开始学习python爬虫,爬取的网站也是很简单的。

求各位能够解答一下,十分感谢!

  • 写回答

2条回答 默认 最新

  • 等黄昏等你来 2023-01-15 22:53
    关注

    打开文件模式改为wb

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 1月24日
  • 已采纳回答 1月16日
  • 创建了问题 1月15日

悬赏问题

  • ¥15 请问有用MZmine处理 “Waters SYNAPT G2-Si QTOF质谱仪在MSE模式下采集的非靶向数据” 的分析教程吗
  • ¥50 opencv4nodejs 如何安装
  • ¥15 adb push异常 adb: error: 1409-byte write failed: Invalid argument
  • ¥15 nginx反向代理获取ip,java获取真实ip
  • ¥15 eda:门禁系统设计
  • ¥50 如何使用js去调用vscode-js-debugger的方法去调试网页
  • ¥15 376.1电表主站通信协议下发指令全被否认问题
  • ¥15 物体双站RCS和其组成阵列后的双站RCS关系验证
  • ¥15 复杂网络,变滞后传递熵,FDA
  • ¥20 csv格式数据集预处理及模型选择