爬取不到超链接是什么问题呢?

Question

爬取小说的时候
url = 'http://www.youxinyuedu.com/main_book.html?webid=6eeda3ca427b4e80efd09c0cbd1e3188%27
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
response = requests.get(url,headers=headers).content.decode('utf-8',errors='ignore')
soup = BeautifulSoup(response,"html.parser")#文件解析
chapters = soup.find("div",class_="line").text#筛选目标
print(chapters)

结果：
第1节

第2节

第3节

第4节

第5节

为啥取不到里面超链接呢？

Answer 1

我看了一下对应的小说网站，你用soup.find("div",class_="line").text获取的确实是第几章的文本，你要获取链接的话，是要获取href的值。

chapters_link = soup.find("div",class_="line").get('href')