沉浸020903 2022-05-13 15:29 采纳率: 78.9%
浏览 161
已结题

从浏览器复制的xpath为什么打出来是个空列表

问题遇到的现象和发生背景

我想爬工商银行积存金的信息,使用xpath提取,但是从浏览器上复制的xpath打印出来是空列表,我应该怎么解决

问题相关代码,请勿粘贴截图
import requests
import logging
from lxml import etree

logging.basicConfig(level=logging.INFO,format='%(asctime)s-%(levelname)s:%(message)s')
BASE_URL='https://mybank.icbc.com.cn/icbc/newperbank/perbank3/frame/frame_index.jsp?serviceId=PBL200603'


def scrape_page(url):
    logging.info('scraping %s...',url)
    try:
        response=requests.get(url)
        if response.status_code==200:
            return response.text
        logging.error('get invalid status code %s while scraping %s',response.status_code,url)
    except requests.RequestException:
        logging.error('error occurred while scraping %s',url,exc_info=True)


yuanma=scrape_page(BASE_URL)
html=etree.HTML(yuanma)
result=html.xpath('/html/body/div/table/tbody/tr[2]/text()')
print(result)


运行结果及报错内容

[]

我的解答思路和尝试过的方法
我想要达到的结果

成功爬取积存金信息

  • 写回答

2条回答 默认 最新

  • CSDN专家-showbo 2022-05-13 15:40
    关注

    积存金是用iframe加载的,在下面这个页面里面
    https://mybank.icbc.com.cn/icbc/newperbank/perbank3/gold/goldaccrual_query_out.jsp
    直接请求这个页面再用xpath,示例如下,由于是实时数据,结果和网页加载的不一样

    img

    import requests
    import logging
    from lxml import etree
     
    logging.basicConfig(level=logging.INFO,format='%(asctime)s-%(levelname)s:%(message)s')
    BASE_URL='https://mybank.icbc.com.cn/icbc/newperbank/perbank3/gold/goldaccrual_query_out.jsp'
     
     
    def scrape_page(url):
        logging.info('scraping %s...',url)
        try:
            response=requests.get(url)
            if response.status_code==200:
                return response.text
            logging.error('get invalid status code %s while scraping %s',response.status_code,url)
        except requests.RequestException:
            logging.error('error occurred while scraping %s',url,exc_info=True)
     
     
    yuanma=scrape_page(BASE_URL)
    
    
    html=etree.HTML(yuanma)
    result=html.xpath('/html/body/div/table/tr[2]/td/text()')
    print(result)
    
    
    

    img


    有其他问题可以继续交流~

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 5月21日
  • 已采纳回答 5月13日
  • 创建了问题 5月13日

悬赏问题

  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯:Person is not mapped,如何解決?
  • ¥15 c++头文件不能识别CDialog