几个月前用requests+xpath就能爬到信息，现在网站好像改动态渲染，请求不到页面
1条回答 默认 最新
- 2021-04-21 12:02回答 6 已采纳 这个问题难倒是不难，就是挺费时间，只能给一些思路和建议。 1、首先获取id的代码有些问题，获取的id是有重复的，可以这样写： def get_id(city): url = 'https
- 2023-03-26 10:47回答 3 已采纳 根据您提供的代码和报错信息，问题出现在 title=li.xpath('./div/div[2]/div[1]/div/a/text()')[0] 这一行，数组越界了。这可能是由于某些 li 标签没有
- 2021-05-22 21:34回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
- 2019-06-19 12:50如风过境YD的博客 “房天下”网站首页 由于数据量较大，本次只获取如下图热门城市房源数据 点击上图中的热门城市入口会进入该城市的首页，该网页下存放着新房、二手房以及租房的url链接。 以上海为例：url=https://sh.fang.com/ : ...
- 2018-03-18 06:59回答 2 已采纳 这个网站有多一层东西，你可以这么干。 先请求http://www.lzggzyjy.cn/InfoPage/InfoList.aspx?SiteItem=8 然后用正则找到 然后请求这个/aja
- 2021-11-24 07:07回答 5 已采纳 import requests url = r'https://hugovk.github.io/top-pypi-packages/top-pypi-packages-30-days.min.js
- 2022-08-12 12:20回答 3 已采纳 不如换用requests库和bs4库吧。 from bs4 import BeautifulSoup as bs import requests as r url = 'https://fanqie
- 2021-02-04 06:20Boresight的博客 新房数据，对于房地产置业者来说是买房的重要参考依据，对于房地产开发商来说，也是分析竞争对手项目的绝佳途径，对于房地产代理来说，是踩盘前的重要准备。今天J哥以「惠民之家」为例，手把手教你利用Python将惠州...
- 2021-11-27 22:00回答 2 已采纳 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。对于动态更新的内容要用selenium 来爬取。 或者是通
- 2022-06-06 20:12回答 4 已采纳 你题目的解答代码如下： #coding=gbk import requests from io import BytesIO from PIL import Image from selenium
- 2021-04-07 06:15回答 2 已采纳 题主存在问题是： 保存图片路径是写死的，循环中会一直覆盖写入"python爬虫图片实验2.jpg"这张图片，所以最后只能得到一张图片 修改： 保存图片路径需要改一下，让每一次循环时，图片写入不
- 2021-01-07 09:30菜鸟学Python数据分析的博客 项目背景新房数据，对于房地产置业者来说是买房的重要参考依据，对于房地产开发商来说，也是分析竞争对手项目的绝佳途径，对于房地产代理来说，是踩盘前的重要准备。今天以「惠民之家」为例，手把手教...
- 2021-05-28 19:50回答 3 已采纳 结合 selenium 库来操作。selenium 取到的 cookie 保存成文件，然后你这边 requests 请求的时候，去这个文件里读取最新的 token 值。
- 2020-06-10 09:50跟着上帝去流浪的博客 偏小白向的python分布式爬取房天下全国二手房与新房信息，json30Mb+ redis数据库数据40W+，有详细分析过程，注释多(‾◡◝)
- 2021-01-03 22:22李哒哒哒的博客 利用python爬取恋家网的房屋信息 话不多说，直接上代码： import requests from lxml import etree import re def fangwu(): with open(r'D:\python数据采集与可视化\fangwu.csv', 'a') as f: f.write('地区,详细...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 如何在scanpy上做差异基因和通路富集？
- ¥20 关于#硬件工程#的问题，请各位专家解答！
- ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
- ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
- ¥30 截图中的mathematics程序转换成matlab
- ¥15 动力学代码报错，维度不匹配
- ¥15 Power query添加列问题
- ¥50 Kubernetes&Fission&Eleasticsearch
- ¥15 報錯：Person is not mapped，如何解決？
- ¥15 c++头文件不能识别CDialog