爬取网站上数据，爬下内容不全

Question

我爬取下厨房的作品url（比如这个界面：http://www.xiachufang.com/cook/10585157/created/）
*

其中::after的内容需要我鼠标滚动到下面才显示。导致我python爬下来的url数量很少，只有最开始的15组。

我用的etree.html和xpath。
大家有什么方法能让我爬取到::after里的数据。

Answer 1

有个page参数的。http://www.xiachufang.com/cook/10585157/created/?page=4

Answer 2

那你能不能爬去上一层ul标签中的所有内容？看看是不是包含所有的li标签你要的内容，然后再过滤。

Answer 3

查看接口 是否有分页page。 有分页就循环调用接口（page+1），获取接口返回数据