2 fyiofo fyiofo 于 2017.09.13 12:08 提问

R语言爬虫页面时页面内有show more按钮,抓取页面问题 100C

在google学术搜索( https://scholar.google.com) 上,搜索出某个作者的文献信息(如图):
图片说明
图片说明
开始只显示20条文献信息,底部有一个show more按钮,点击一下多显示20条,想求教如何爬取所有的文献信息
希望大神帮忙写一下这一部分的代码或给出具体的思路(要用什么函数等等)
谢谢各位大神!!!

2个回答

pzhw520hchy
pzhw520hchy   2017.09.13 15:00

点击按钮后(show more),获取网页内容再定位元素

qq_28766327
qq_28766327   2017.09.14 11:41

上次我爬google的一个页面,也是show more。
我用chrome 开发者工具 的network 捕获到他的请求。
发现url中有一个参数,代表要取多少条数据回来 。
那么我的解决办法来了。直接把这个参数设置的大一点就好了。提供一个思路吧,不一定你这里也合适

Csdn user default icon
上传中...
上传图片
插入图片