如何用python爬虫获取被js修饰过的网页Elements

Question

右击“查看网页源代码”和f12的Elements不一样。

如果直接用urllib.request.urlopen('...')然后read()的话只能得到网页源代码，即原始的html，未被js加工，并不是我所需要的Elements。

今天查了一整天，也一直在尝试，一直无法得解。

我不能用xpath的方法，因为xpath本事也是需要手动去找的，而我的需求是：从搜索页面中获得一系列网页的url，并从其中获取数段文字，这些文字也只有在Elements中才有。这些网页的网址没有规律，不能用for i in range的方法获取。

Answer 1

可以先将原始的 html 保存成字符内容，然后用正则表达式匹配获取对应的内容。