正常都是填完参数后就能进行网页获取
但是如果我想把该网页的url也保存下来，如果不填参数全填url的话，url会显得很臃肿而且代码也不好看，能不能提取出正在获取的网页的url呢
爬虫request能不能提取出正在获取的网页的url
但是如果我想把该网页的url也保存下来，如果不填参数全填url的话，url会显得很臃肿而且代码也不好看，能不能提取出正在获取的网页的url呢
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
Vae 东 2022-01-21 15:11关注我JAVA的.你说的应该是request请求里面.既有URL.又有参数等,JAVA这边有个深拷贝和浅拷贝.深拷贝可以达成.python这边你看下
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2022-01-20 16:42回答 2 已采纳 我JAVA的.你说的应该是request请求里面.既有URL.又有参数等,JAVA这边有个深拷贝和浅拷贝.深拷贝可以达成.python这边你看下
- 2022-09-19 00:24回答 3 已采纳 是被你的过滤条件过滤了吧，检查一下过滤条件： import bs4 as bs import urllib.request source = urllib.request.urlopen("https
- 2020-07-26 09:08回答 2 已采纳 json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) 看看你的编码，是不是不是utf8或者包含了不合法的字符
- 2020-12-17 14:08在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 什么是Beautiful Soup？ Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树...
- 2021-11-21 21:19回答 1 已采纳 你用open打开csv文件，然后以字符串格式写入就行了，每个数据之间用英文逗号隔开即可
- 2023-02-24 11:31回答 8 已采纳 选择a标签的时候错误了，应该是 title_tags = tag.select('a')，这样选择每一个a标签，因为 article_tags = soup.select('.docsum-cont
- 2019-05-07 20:14回答 1 已采纳 首先，在常规头部获取请求的url，然后查看请求方法，获取请求状态，如果是失败，就说明不是这个。 然后，请求头部，将所有的headers放到requests的headers参数里面(可以包含cooki
- 2021-02-04 06:25weixin_39621860的博客 方法一：find_allimport urllibimport requestsfrom urllib.parse import urlparsefrom urllib import request, parsefrom bs4 import BeautifulSoupword = '周杰伦'# word为关键词，pn是百度用来分页的..url = '...
- 2017-11-23 05:47回答 3 已采纳 需要先把内容的mainComment()去掉，它里面是一个json，然后就可以处理，\u是表示unicode的字符。 ``` In [24]: sess = requests.Session(
- 2020-12-25 10:40回答 3 已采纳 res = requests.post(url,headers=headers,json=payload)
- 2022-01-07 16:37回答 2 已采纳 建议使用requests,添加参数headers,cookies，params,这样试一下。
- 2021-01-20 04:14在某网站主页提取url进行迭代，爬虫请求主页时没有问题，返回正常，但是在访问在主页提取到的url时出现了400状态码(400 Bad Request)。 结论 先贴出结论来，如果url里有空格的话，要把空格替换成 ，也就是url编码，...
- 2023-03-07 17:40回答 3 已采纳 “Devil组”引证GPT后的撰写：这个错误是由于文件写入时使用的默认编码为 'gbk'，而 p.text 中含有无法被 'gbk' 编码的字符。可以将文件的编码格式改为 'utf-8'，这样就可以处
- 2020-12-24 05:49一提到python，大家经常会提到爬虫，爬虫近来兴起的原因我觉得主要还是因为大数据的原因，大数据导致了我们的数据不在只存在于自己的服务器，而python语言的简便也成了爬虫工具的首要语言，我们这篇文章来讲下爬虫，...
- 2020-12-17 08:27爬虫就是请求网站并提取数据的自动化程序。其中请求，提取，自动化是爬虫的关键！下面我们分析爬虫的基本流程 爬虫的基本流程 发起请求 通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的...
- 没有解决我的问题, 去提问
问题事件
系统已结题
2月5日
已采纳回答
1月28日-
创建了问题
1月20日
悬赏问题
- ¥15 请看一下，学校实验要求，我需要具体代码
- ¥50 pc微信3.6.0.18不能登陆 有偿解决问题
- ¥20 MATLAB绘制两隐函数曲面的交线
- ¥15 求TYPCE母转母转接头24PIN线路板图
- ¥100 国外网络搭建，有偿交流
- ¥15 高价求中通快递查询接口
- ¥15 解决一个加好友限制问题 或者有好的方案
- ¥15 急matlab编程仿真二阶震荡系统
- ¥20 TEC-9的数据通路实验
- ¥15 ue5 .3之前好好的现在只要是激活关卡就会崩溃