右手画诗 2019-03-18 13:45 采纳率: 0%
浏览 1697

python 爬虫 用xpath抓取多行文本,如何实现多重遍历?

萌新学习python爬虫,在爬取网贷之家平台信息的时候,通过xpath将某一平台的网友印象三个关键词保存在一个数组中,输出到excel中。

现在我希望能够把该页面上25个平台信息都爬取到并保存,请问xpath怎么写循环?这里的25个信息代码结构是一模一样的,只有li从[1]-[25]。谢谢

import requests
import pandas as pd
from lxml import etree
from fake_useragent import UserAgent

ua = UserAgent()
headers['User-Agent']=ua.random

url = 'https://www.wdzj.com/dangan/search?filter=e1&currentPage=1'

response = requests.get(url,headers = headers).text
s = etree.HTML(response)

file_yinxiang = []
file_yinxiang1 = s.xpath('//*[normalize-space(@id)="showTable"]/ul/li[1]/div[2]/a/div[5]/span/text()')#实现li从1-25的循环
file_yinxiang.append(file_yinxiang1)


df = pd.DataFrame(file_yinxiang)
df.to_excel('wdzj_p2p.xlsx')

网上查了很多资料,并不是很清楚,目前不循环是这个结果:

图片说明

这是网页上我要爬取的内容:
图片说明

  • 写回答

1条回答 默认 最新

  • CSDN-Ada助手 CSDN-AI 官方账号 2022-09-09 18:33
    关注
    不知道你这个问题是否已经解决, 如果还没有解决的话:

    如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 以帮助更多的人 ^-^
    评论

报告相同问题?

悬赏问题

  • ¥15 代码的修改,添加和运行完善
  • ¥15 krpano-场景分组和自定义地图分组
  • ¥15 lammps Gpu加速出错
  • ¥15 关于PLUS模型中kapaa值的问题
  • ¥15 关于博途V17进行仿真时无法建立连接问题
  • ¥15 机器学习教材中的例题询问
  • ¥15 求.net core 几款免费的pdf编辑器
  • ¥15 为什么安装HCL 和virtualbox之后没有找到VirtualBoxHost-OnlyNetWork?
  • ¥15 C# P/Invoke的效率问题
  • ¥20 thinkphp适配人大金仓问题