2 qq 26897915 qq_26897915 于 2015.06.03 14:49 提问

python 实现爬取网页的审查元素,求大神路过

网页源代码只有 JavaScript,没有我想要的数据。只能通过审查元素看到,怎样才能抓取审查元素的内容 暂时用的是selenium,但只能看源代码。求大神路过

4个回答

qq_25970551
qq_25970551   2016.05.24 16:31
oyljerry
oyljerry   Ds   Rxr 2015.06.03 19:39

selenium拿到数据后,用lxml来解析节点,获取你对应的数据

oyljerry
oyljerry 回复qq_26897915: 你这需要那页面的DOM内容
2 年多之前 回复
qq_26897915
qq_26897915 用selenium只能拿到源代码吗,能不能拿到经过js后的代码?
2 年多之前 回复
qq_26897915
qq_26897915 没用过lxml 能获取javascript后的源代码吗
2 年多之前 回复
datou431
datou431   Rxr 2015.06.18 14:58

beautifulsoup试试吧。。

zhu_free
zhu_free   2015.06.03 15:39

beautifulsoup试试看?

zhu_free
zhu_free 回复qq_26897915: 没有抓过纯js的,但是抓过网页里有很多js的页面。。
2 年多之前 回复
qq_26897915
qq_26897915 bs能解析动态的源码吗?
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片