python 爬虫 用xpath抓取多行文本,如何实现多重遍历?

萌新学习python爬虫,在爬取网贷之家平台信息的时候,通过xpath将某一平台的网友印象三个关键词保存在一个数组中,输出到excel中。

现在我希望能够把该页面上25个平台信息都爬取到并保存,请问xpath怎么写循环?这里的25个信息代码结构是一模一样的,只有li从[1]-[25]。谢谢

import requests
import pandas as pd
from lxml import etree
from fake_useragent import UserAgent

ua = UserAgent()
headers['User-Agent']=ua.random

url = 'https://www.wdzj.com/dangan/search?filter=e1&currentPage=1'

response = requests.get(url,headers = headers).text
s = etree.HTML(response)

file_yinxiang = []
file_yinxiang1 = s.xpath('//*[normalize-space(@id)="showTable"]/ul/li[1]/div[2]/a/div[5]/span/text()')#实现li从1-25的循环
file_yinxiang.append(file_yinxiang1)


df = pd.DataFrame(file_yinxiang)
df.to_excel('wdzj_p2p.xlsx')

网上查了很多资料,并不是很清楚,目前不循环是这个结果:

图片说明

这是网页上我要爬取的内容:
图片说明

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐