李锡钊 2023-04-03 11:12 采纳率: 100%
浏览 41
已结题

python数据爬取求帮助!急!

求解决方案!
想爬取立创商城元器件的价格,以下是源代码,python版本为3.10,pycharm的版本为2022.2.4

import requests
from lxml import etree


url = 'https://so.szlcsc.com/global.html?k=%25E7%2594%25B5%25E9%2598%25BB&hot-key=ADXL355BEZ-RL7'
headers = {
        # 防盗链
        'referer': 'https://so.szlcsc.com/',
        # 浏览器信息
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 '
                      'Safari/537.36 '
}
resp = requests.get(url, headers=headers)
tree = etree.HTML(resp.text)
names = tree.xpath('//*[@id="shop-list"]/table/tbody/tr[1]/td/div[2]/div[2]/div[3]/div[1]/div[1]/ul/li[2]/div/p/@originalprice')
print(names)
for item in names:
    print(item)

执行代码之后获取的数据应该是4.72,但是输出结果为空

img


以下代码为获取商品的型号

url = 'https://so.szlcsc.com/global.html?k=3296W-1-103LF&hot-key=ADXL355BEZ-RL7'
headers = {
        # 防盗链
        'referer': 'https://so.szlcsc.com/',
        # 浏览器信息
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 '
                      'Safari/537.36 '
}
resp = requests.get(url, headers=headers)
tree = etree.HTML(resp.text)
names = tree.xpath('//*[@id="shop-list"]/table/tbody/tr[1]/td/div[2]/div[2]/div[1]/div/ul/li[1]/span[2]/@title')
print(names)
for item in names:
    print(item)

img


输出结果是正确的
有没有那个老哥能帮忙解决一下

  • 写回答

3条回答 默认 最新

  • cjh4312 2023-04-03 11:47
    关注
    
    from selenium import webdriver
    from lxml import etree
    driver = webdriver.Edge()
    url='https://so.szlcsc.com/global.html?k=%25E7%2594%25B5%25E9%2598%25BB&hot-key=ADXL355BEZ-RL7'
    driver.get(url)
    html=etree.HTML(driver.page_source)
    dd=html.xpath('//@originalprice')
    print(dd)
    

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 4月11日
  • 已采纳回答 4月3日
  • 创建了问题 4月3日

悬赏问题

  • ¥15 电脑开机过商标后就直接这样,求解各位
  • ¥15 mysql , 用自己创建的本地主机和用户名 登录不上
  • ¥15 关于#web项目#的问题,请各位专家解答!
  • ¥15 vmtools环境不正常
  • ¥15 请问如何在Ubuntu系统中安装使用microsoft R open?
  • ¥15 jupyter notebook
  • ¥30 informer时间序列预测
  • ¥20 SSR引物多态性分析
  • ¥15 大漠插件在Win11易语言注册调用和免注册灵异事件,VS上注册调用完全没问题
  • ¥15 Addressable缓存机制做热更新的问题