李锡钊 2023-04-03 11:12 采纳率: 100%
浏览 41
已结题

python数据爬取求帮助!急!

求解决方案!
想爬取立创商城元器件的价格,以下是源代码,python版本为3.10,pycharm的版本为2022.2.4

import requests
from lxml import etree


url = 'https://so.szlcsc.com/global.html?k=%25E7%2594%25B5%25E9%2598%25BB&hot-key=ADXL355BEZ-RL7'
headers = {
        # 防盗链
        'referer': 'https://so.szlcsc.com/',
        # 浏览器信息
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 '
                      'Safari/537.36 '
}
resp = requests.get(url, headers=headers)
tree = etree.HTML(resp.text)
names = tree.xpath('//*[@id="shop-list"]/table/tbody/tr[1]/td/div[2]/div[2]/div[3]/div[1]/div[1]/ul/li[2]/div/p/@originalprice')
print(names)
for item in names:
    print(item)

执行代码之后获取的数据应该是4.72,但是输出结果为空

img


以下代码为获取商品的型号

url = 'https://so.szlcsc.com/global.html?k=3296W-1-103LF&hot-key=ADXL355BEZ-RL7'
headers = {
        # 防盗链
        'referer': 'https://so.szlcsc.com/',
        # 浏览器信息
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 '
                      'Safari/537.36 '
}
resp = requests.get(url, headers=headers)
tree = etree.HTML(resp.text)
names = tree.xpath('//*[@id="shop-list"]/table/tbody/tr[1]/td/div[2]/div[2]/div[1]/div/ul/li[1]/span[2]/@title')
print(names)
for item in names:
    print(item)

img


输出结果是正确的
有没有那个老哥能帮忙解决一下

  • 写回答

3条回答 默认 最新

  • cjh4312 2023-04-03 11:47
    关注
    
    from selenium import webdriver
    from lxml import etree
    driver = webdriver.Edge()
    url='https://so.szlcsc.com/global.html?k=%25E7%2594%25B5%25E9%2598%25BB&hot-key=ADXL355BEZ-RL7'
    driver.get(url)
    html=etree.HTML(driver.page_source)
    dd=html.xpath('//@originalprice')
    print(dd)
    

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 4月11日
  • 已采纳回答 4月3日
  • 创建了问题 4月3日

悬赏问题

  • ¥15 如何在node.js中或者java中给wav格式的音频编码成sil格式呢
  • ¥15 不小心不正规的开发公司导致不给我们y码,
  • ¥15 我的代码无法在vc++中运行呀,错误很多
  • ¥50 求一个win系统下运行的可自动抓取arm64架构deb安装包和其依赖包的软件。
  • ¥60 fail to initialize keyboard hotkeys through kernel.0000000000
  • ¥30 ppOCRLabel导出识别结果失败
  • ¥15 Centos7 / PETGEM
  • ¥15 csmar数据进行spss描述性统计分析
  • ¥15 各位请问平行检验趋势图这样要怎么调整?说标准差差异太大了
  • ¥15 delphi webbrowser组件网页下拉菜单自动选择问题