LoverSeve 2021-08-22 12:49 采纳率: 100%
浏览 66
已结题

爬取小说,只有末尾部分

最近我在爬取小说的时候,出现了爬取到了小说最后一段,开头以及中间部分全部没有了,下面是我写的代码以及请求的内容:


URL = 'https://www.kankezw.com/du/23/23361/1633023.html'

head = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.78'
}

html = requests.get(url=URL, headers=head)
html.encoding = 'utf-8'
page_txt = BeautifulSoup(html.text, 'html.parser')
html_txt = page_txt.find('div', attrs={'id': 'content1'})

print(html_txt.text)

    站在原地望着少年那恍如与世隔绝的孤独背影,萧薰儿踌躇了一会,然后在身后一干嫉妒的狼嚎声中,快步追了上去,与少年并肩而行…


  • 写回答

1条回答 默认 最新

  • CSDN专家-showbo 2021-08-22 12:57
    关注

    没问题啊,是不是软件输出超过缓存了只显示最后的

    img

    import requests
    from bs4 import BeautifulSoup
    URL = 'https://www.kankezw.com/du/23/23361/1633023.html'
    head = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.78'
    }
    html = requests.get(url=URL, headers=head)
    html.encoding = 'utf-8'
    page_txt = BeautifulSoup(html.text, 'html.parser')
    html_txt = page_txt.find('div', attrs={'id': 'content1'})
    print(html_txt.text)
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 8月30日
  • 已采纳回答 8月22日
  • 创建了问题 8月22日

悬赏问题

  • ¥15 孟德尔随机化结果不一致
  • ¥15 apm2.8飞控罗盘bad health,加速度计校准失败
  • ¥15 求解O-S方程的特征值问题给出边界层布拉休斯平行流的中性曲线
  • ¥15 谁有desed数据集呀
  • ¥20 手写数字识别运行c仿真时,程序报错错误代码sim211-100
  • ¥15 关于#hadoop#的问题
  • ¥15 (标签-Python|关键词-socket)
  • ¥15 keil里为什么main.c定义的函数在it.c调用不了
  • ¥50 切换TabTip键盘的输入法
  • ¥15 可否在不同线程中调用封装数据库操作的类