定位不了需要的属性，用selenium得到的html和网页看的 也不一样

Question

# usr/bin/env python
# -*- coding:utf-8 -*-
#需求爬取该代码中url对应网页中每个黄花菜资料的详情文本和图片

import  requests
from lxml import  etree
import os

if not os.path.exists('./黄花'):
    os.mkdir('./黄花')

url  = 'http://www.qdtcp.com/story/huanghuacai/'
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.50'
    }


html = requests.get(url=url,headers=headers).text.encode('utf-8')
tree = etree.HTML(html)

div_list = tree.xpath('//*[@id="wp"]/div[3]/div[1]/div[2]/div[2]/div')
print(div_list)
for div in div_list:
    href = div.xpath('./div[1]/dl/dt/a/@href')[0]
    print(href)

xpath表达式得到的列表是空的
试过用selenium，但是page_source得到的网页 和浏览器上面的不同

蹲一个大佬解惑

```

Answer 1

刚刚解决了 去掉.encode('utf-8')这个编码就好了