京东首页的左侧弹出目录树怎么爬取？

Question

https://www.jd.com/

京东首页目录树爬取，求问指导鼠标悬停在某一类别时弹出的子目录应该怎么爬取？

我用了selenium phantomjs 访问后，返回的driver.page_response中没有子目录的网页源代码。这种情况是只能模拟点击每一个类别，然后在爬取下一个页面的目录结构么？

Answer 1

那个是动态加载的，不是在页面元素内容中。你可以先获取分类，再循环模拟鼠标事件，每次触发之后再获取网页内容。