#需求:获取58同城二手房的房源信息
#url:https://huzhou.58.com/ershoufang
import requests
from lxml import etree
if __name__ == "__main__":
url='https://huzhou.58.com/ershoufang'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.81'
}
#获取页面源码
html = requests.get(url=url,headers=headers).text
#进行数据解析
tree = etree.HTML(html) #实例化一个etree对象
title = tree.xpath('//div[@class="property-content"]//h3/text()')
#print(li_list)
fp =open('58.text','w',encoding='utf-8')
fp.write(title+'\n')
报错信息:TypeError: can only concatenate list (not "str") to list
视频中老师是通过for 循环将所有的标题爬下来,但是我这样写好像也是可以把所有的标题爬下来。
视频中的58二手房网页HTML源码和我现在去访问时的写法不一样。所以不知道我这样写的有没有问题。