python爬虫 爬虫的网站源码不齐全怎么办

http://192.168.101.213:7027/swagger-ui.html#/26631209343164929702

用f12打开看到的源码
和用beautifulsoup get到的源码不一样 没法进行爬取

woaiyibao
woaiyibao 已经用 解析json代码的方法进行爬取
一年多之前 回复

1个回答

现在都是动态网页,你爬取到的只是一个基本框架而已。
你可以用f12 然后检测一下http请求,基本上获取到的都是第一个请求。
后面的数据都是通过js修改后的网页。
交互式的。所以要想做复杂爬虫,还得了解web,js,css,xpath,还有http等等。
最开始还是找一些静态网页做实验吧。

rubikchen
502203305 回复woaiyibao: 没有办法,除非你一一模拟他的js代码。代价太大。
一年多之前 回复
woaiyibao
woaiyibao 就是怎么直接获得outerHTML呢
一年多之前 回复
woaiyibao
woaiyibao 用 f12打开elements里面的源码是齐全的 但是直接在网页上右键查看源码出来的是不齐全的 怎么才能get到f12里面的源码呢
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问