目前公司观察了下天眼查,说是准备在天眼查上抓取一小部分数据,让我调研一下,本来我就想这以selenium方法进行抓取,虽然慢一些,但是比较稳妥,毕竟天眼查的反爬还是比较厉害,但是当我利用selenium+chrome进行抓取的时候我发现网页上的真实数据竟然用selenium获取不下来:
我以为可能js里面会有,或者接口中有,但是都没有发现,那位大神来指点一下。
目前公司观察了下天眼查,说是准备在天眼查上抓取一小部分数据,让我调研一下,本来我就想这以selenium方法进行抓取,虽然慢一些,但是比较稳妥,毕竟天眼查的反爬还是比较厉害,但是当我利用selenium+chrome进行抓取的时候我发现网页上的真实数据竟然用selenium获取不下来:
我以为可能js里面会有,或者接口中有,但是都没有发现,那位大神来指点一下。