tyrandoupup 2019-01-10 11:54 采纳率: 0%
浏览 2462
已采纳

爬取网站上数据,爬下内容不全

我爬取下厨房的作品url(比如这个界面:http://www.xiachufang.com/cook/10585157/created/)
*图片说明

其中::after的内容需要我鼠标滚动到下面才显示。导致我python爬下来的url数量很少,只有最开始的15组。
图片说明

我用的etree.html和xpath。
大家有什么方法能让我爬取到::after里的数据。

  • 写回答

3条回答 默认 最新

  • qq_24499417 2019-01-10 12:21
    关注
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
  • Watch_dou 2019-01-10 12:48
    关注

    那你能不能爬去上一层ul标签中的所有内容?看看是不是包含所有的li标签你要的内容,然后再过滤。

    评论
  • 明王-石头 2019-01-10 14:16
    关注

    查看接口 是否有分页page。 有分页就循环调用接口(page+1),获取接口返回数据

    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥15 grafna发送告警信息
  • ¥15 51单片机,LCD屏幕内容修改
  • ¥20 Ida Pro动态调试
  • ¥15 TensorFlow深度学习拓展项目
  • ¥20 springboot博客系统
  • ¥15 MICE包多重插补后数据集汇总导出
  • ¥15 一道算法分析问题(关于3-MSAT)
  • ¥15 C++ FLUENT 化学反应速率 编写困难
  • ¥15 Python嵌套交叉验证
  • ¥15 linuxkit+elasticsearch