jkd112233 2022-07-05 20:30 采纳率: 85.4%
浏览 92
已结题

关于并发结合BeautifulSoup进行爬虫时的问题！

我想爬网站的一个页面：https://bbs.hupu.com/acg
要求使用多线程来并发爬取：范围是第一页的所有帖子，每个帖子包含标题、主题内容和第一页的所有回复内容。最后打印出爬到的所有帖子的标题。
这里不知道为什么代码出错。（应该是在ln4出错）
以及想知道什么时候才需要在select所在的句子后面加[0]（比如ln4的第7行）?

img

img

  • 写回答

5条回答 默认 最新

  • CSDN专家-showbo 2022-07-05 20:47
    关注
    获得2.30元问题酬金

    div下没有参数指定样式的元素，下标越界了，多线程爬太快了被网站拦截返回其他内容了吧。。

    img

    评论 编辑记录

报告相同问题？

问题事件

  • 系统已结题 7月13日
  • 创建了问题 7月5日