2 fyiofo fyiofo 于 2017.09.13 12:08 提问

R语言爬虫页面时页面内有show more按钮,抓取页面问题 100C

在google学术搜索( https://scholar.google.com) 上,搜索出某个作者的文献信息(如图):
图片说明
图片说明
开始只显示20条文献信息,底部有一个show more按钮,点击一下多显示20条,想求教如何爬取所有的文献信息
希望大神帮忙写一下这一部分的代码或给出具体的思路(要用什么函数等等)
谢谢各位大神!!!

3个回答

pzhw520hchy
pzhw520hchy   2017.09.13 15:00

点击按钮后(show more),获取网页内容再定位元素

qq_28766327
qq_28766327   2017.09.14 11:41

上次我爬google的一个页面,也是show more。
我用chrome 开发者工具 的network 捕获到他的请求。
发现url中有一个参数,代表要取多少条数据回来 。
那么我的解决办法来了。直接把这个参数设置的大一点就好了。提供一个思路吧,不一定你这里也合适

u012111465
u012111465   2018.06.12 00:00

用selenium吧,用了就知道超级nice!我用习惯了python+selenium.
https://blog.csdn.net/u012111465/article/details/80634625
https://blog.csdn.net/u012111465/article/details/80644105

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!