郁璐玮 2022-02-14 15:59 采纳率: 50%
浏览 178
已结题

Python使用xpath无论如何都返回空列表

#爬取58二手房中的房源信息
import requests
from lxml import etree
import lxml
url='https://bj.58.com/ershoufang/'
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36 Edg/98.0.1108.50'
}
resp=requests.get(url=url,headers=headers)
resp.encoding='utf-8'
page_text=resp.text
with open('./text','w',encoding='utf-8') as fp:
    fp.write(page_text)
#数据解析
tree=etree.HTML('page_text')
print(tree)
#存储的就是div标签对象
div_list=tree.xpath('//head')
print(div_list)


结果:第一个tree没问题,但无论在xpath后面放什么都返回空列表

  • 写回答

3条回答 默认 最新

  • CSDN专家-showbo 2022-02-14 16:06
    关注

    tree=etree.HTML('page_text')
    改为
    tree=etree.HTML(page_text)

    加载变量的值,而不是直接加载page_text这字符,当然无法找到内容

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
  • piaoyiren 2022-02-14 16:27
    关注

    爬取58二手房中的房源信息

    import requests
    from lxml import html
    import lxml

    url = 'https://bj.58.com/ershoufang/'
    headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36 Edg/98.0.1108.50'
    }
    resp = requests.get(url=url, headers=headers)
    resp.encoding = 'utf-8'
    page_text = resp.text
    with open('./text', 'w', encoding='utf-8') as fp:
    fp.write(page_text)

    数据解析

    tree = html.etree.HTML(page_text)
    print(tree)

    存储的就是div标签对象

    div_list = tree.xpath('//head')
    print(div_list)

    评论
  • 有问必答小助手 2022-02-14 16:34
    关注
    您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!
    PS:问答VIP年卡 【限时加赠:IT技术图书免费领】,了解详情>>> https://vip.csdn.net/askvip?utm_source=1146287632
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 2月22日
  • 已采纳回答 2月14日
  • 创建了问题 2月14日

悬赏问题

  • ¥15 设计程序,利用函数getCharacterCnt,实现求解出str所指字符串中指定字符的个数,并返回此值。
  • ¥15 设计程序,实现管理30个学生5门课程的成绩,功能模块要求如下。
  • ¥15 B660主板安装xp系统老是出现错误怎么办
  • ¥15 定义过的变量报错未定义
  • ¥15 如何在EXCEL某单元格中查找是否存在另一列中的内容。
  • ¥50 非对称加密(相关搜索:密码学)
  • ¥15 关于非编程寻迹小车的分析
  • ¥15 java导出EXCEL这里已经执行成功了,但是流浪器没有下载
  • ¥15 帮我把代码改的能正常运行就行
  • ¥50 有限元修正、模型修正、最小二乘法,详细步骤