from selenium import webdriver
from bs4 import BeautifulSoup
import time
PATH = 'C:\Program Files\chromedriver.exe'
driver = webdriver.Chrome(PATH)
driver.get('http://www.xbiquge.la/41/41495/18842440.html')
content = driver.page_source.encode('utf-8').strip()
soup = BeautifulSoup(content, 'lxml')
# get information
def getinfo():
chapter_name = soup.find('div', class_='bookname').h1
chapter_info = soup.find('div', id='content')
with open(r'C:\Users\14155\Desktop\Python\爬虫实战案例\笔趣阁\全属性武道\{}.txt'.format(chapter_name.text[4:]), 'w',
encoding='utf-8') as f:
f.write(chapter_name.text.strip() + "\n\n" + chapter_info.text.replace(' ', ''))
# next chapter
def nextchapter():
next_chapter = driver.find_element_by_link_text('下一章')
next_chapter.click()
def main():
for i in range(5):
getinfo()
nextchapter()
main()
Python爬取笔趣阁小说只保存第一章,哪里出错了
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
3条回答 默认 最新
- 木三136 2021-04-06 14:02关注
您的soup只访问了一次,就是说getinfo()这个函数一直在对第一章进行操作
您可以在每次使用getinfo()这个函数时,先更改一下soup
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 装 pytorch 的时候出了好多问题,遇到这种情况怎么处理?
- ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
- ¥15 手机接入宽带网线,如何释放宽带全部速度
- ¥30 关于#r语言#的问题:如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测
- ¥15 ETLCloud 处理json多层级问题
- ¥15 matlab中使用gurobi时报错
- ¥15 这个主板怎么能扩出一两个sata口
- ¥15 不是,这到底错哪儿了😭
- ¥15 2020长安杯与连接网探
- ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么