关于xpath使用问题疑问

Question

关于vscode 爬虫过程中 xpath 使用的问题

```python
from lxml import etree
import requests
url='https://pic.netbian.com/4kmeinv/'
headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0'}
page_text=requests.get(url,headers=headers).content
tree = etree.HTML(page_text)
li_list=tree.xpath('//dv[@class="slist"]//li')
for li in li_list:
    img_src='https://pic.netbian.com'+li.xpath('./a/img/@src')[0]
    img_name=li.xpath('./a/img/@alt')[0]+'.jpg'
    print(img_name,img_src)

运行结果是这样的，没有爬取得到想要的链接和名称，希望得到解答

Answer 1

【以下回答由 GPT 生成】

**解决方案:**

在分析代码和目标页面结构后, 发现代码中存在一些问题:

1. XPath中的选择器应该是`div`而不是`dv`:
   修改代码中的XPath选择器为`//div[@class="slist"]/ul/li`以匹配目标元素。

2. 应该使用`text()`函数来获取文本内容而不是`@alt`属性:
   修改代码中获取img名称的XPath为`./a/img/text()`来获取文本内容。

3. 需要处理相对链接的情况:
   在拼接图片链接时，可以使用`urllib.parse.urljoin`函数来处理相对链接。

综上所述，修改后的代码片段如下:

```python
from lxml import etree
import requests
from urllib.parse import urljoin

url = 'https://pic.netbian.com/4kmeinv/'
headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0'}
page_text = requests.get(url, headers=headers).content
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="slist"]/ul/li')

for li in li_list:
    img_src = urljoin(url, li.xpath('./a/img/@src')[0])
    img_name = li.xpath('./a/img/text()')[0] + '.jpg'
    print(img_name, img_src)

通过以上修改, 应该可以成功爬取到想要的链接和名称了。 ``` 这里是示例图片:

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^