爬取网址中评论时,碰到多个”展开“应该怎么办?

当我爬取某网站的评论的时候,有的评论由于过长,会隐藏一部分,这个时候需要我们点击”展开“才能看到完整的评论。
我是通过selenium模拟人工操作来获得动态渲染的网页内容,我尝试了通过xpath定位来模拟点击,但是一个页面可能有多个”展开“,那我到底应该怎么做,有没有什么办法可以获取所有”展开“,然后点击?页面如下:
图片说明
图片说明
网址如下:
https://guba.eastmoney.com/news,600000,934143782.html

1个回答

判断这个评论的div下是否有展开这个id(比如是id),如果有就点击
或者,只要是评论都点击一下,用try就好了

qq_42145283
冰阔箩 刚看了下,换用抓包的形式,包里的数据是全的,直接可以拿到,并且回复第一层的回复也是有的,都可以直接获取
2 天之前 回复
weixin_44549540
Estoyharto 这种方法我试过,可是有的页面评论第一层评论,有的评论是回复第一层评论的。如果要遍历感觉太花时间了
6 天之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问