关于python 抓取结果返回只有最后一个的问题

py新手,看着别人写了一个抓数据,遇到的问题是再内部循环中的结果result是正确的,最外部的结果只有内部的最后一个

 # -*- coding:utf-8 -*-
import requests  
from bs4 import BeautifulSoup  

#抓取历史天气
#author wx
#param year 年
#param month 月
def weaFetch(year,month):
    #初始化结果
    result = {}
    #初始话url
    url = 'http://lishi.tianqi.com/beijing/'
    #加入年月得到完整的url
    resultUrl = url + year + month + '.html'
    #得到页面
    res = requests.get(resultUrl)   
    soup = BeautifulSoup(res.text,'html.parser')
    #找到要抓的内容位置
    data = soup.find('div', {'class': 'tqtongji2'})
    #内容集
    ul = data.find_all('ul')
    #每天的天气内容
    for  day in ul[1:]:
        li = day.find_all('li')
        for daydata in li:
            #日期
            result['date'] = li[0].string
             #最高温度
            result['higntemp'] = li[1].string
             #最低温度
            result['lowtemp'] = li[2].string
             #天气
            result['weather'] = li[3].string
             #风向
            result['wind'] = li[4].string
            #风力
            result['windlevel'] = li[5].string
            #print(result)
        #print(result)
    #print(result)
    return result

3个回答

取消内部注释打印正常图片说明
取消最外边注释打印只有最后一行图片说明

感觉没人啊,我去发个帖问问把

自己解决了,这个是字典key因为一样所以循环的时候会覆盖前面value的问题,内部循环时再加一个字典接受每次抓取的结果

 resultSet[li[0].string] = result

当然你上边还是要定义一个字典

 resultSet = {}
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
问一个关于Python抓取页面跳转的问题(略愚蠢。。。)

真的。可能这问题真的挺愚蠢。。。但咱还是厚着脸皮问下大神了。。。 问题是这样的:我在做一个抓取我们学校教务系统课表的爬虫,登陆的已经写好了,问题出在登陆以后怎么跳转。 登陆后的页面和切换到(跳转到)课程表页面的url是一样一样的... 而且wireshark抓包也没发现任何post数据包 ![图片说明](https://img-ask.csdn.net/upload/201603/02/1456925107_867462.png) 教务系统截图如下 ![图片说明](https://img-ask.csdn.net/upload/201603/02/1456925137_961435.png) 也是没任何post包,我试了下postdata也是没抓取到课程表页面... 总结一下: 1、页面跳转后url和跳转前一致 2、没任何post数据包... 求大神解答,轻喷啊:(

求教如何通过python抓取网页中表格信息

刚刚开始学习python 不清楚如何通过python抓取网页中的表格信息 比如给定一个student.html 里面有学号、姓名、性别等信息 怎么样写才能够输入学号 读出其他信息?

请问python如何抓取for循环的所有结果?

我抓取了一个txt文档,处理完一行得到一个名为line的数组。想知道如何抓取全部的数组放进一个list的集合内。

python抓取web表单内容

现有一个web档案管理系统,在输入框内输入号码,在输入框下面自动查询数据库现实号码对应的企业名称,要用py制作一个小程序按快捷键自动抓取输入的号码和企业名称并保存到Excel中,跪求如何抓取到这两个信息,URLlib 和urllib2貌似都是抓取静态页面的数据,或者我理解的不对???麻烦各位大神!

使用python抓取网站动态数据不能获取界面实际展示结果

目标路径:http://qy1.sfda.gov.cn/datasearch/face3/search.jsp?tableId=20 当前使用方式: #coding=utf-8 import urllib2 from bs4 import BeautifulSoup addr ='http://qy1.sfda.gov.cn/datasearch/face3/search.jsp?tableId=20' up = urllib2.urlopen(addr) html = up.read() print(html) 问题: 实际上需要网页打开展示的数据,但结果却获取到一堆script。 请大神指导一下!

如何使用Python抓取翻页网页的数据

我想使用Python抓取一个需要翻页的网页所有数据,但换页时URL不变,我想找到换页 的接口,通过接口访问下一页的数据。请问怎样分析? [http://www.szairport.com/frontapp/HbxxServlet?iscookie=C](http://www.szairport.com/frontapp/HbxxServlet?iscookie=C "")

关于python正则表达式抓取图片地址的问题

抓取图片正则表达式为r'src="(.+?\.(?:bmp|jpg|png|gif))"' 问下大神们,为什么抓取时不会将src=抓取进去,而只是抓取了括号里内容? (?:)是非捕获型括号吗?为什么直接用捕获型会多出.jpg类的字符?

python爬虫抓取亚马逊商品名,一段时间后大量返回503错误?

写了个简单的爬虫,抓取亚马逊商品的名字,一开始抓取的都还能正确返回,到几百条以后就大量返回503,偶尔成功一两条。网上说的headers和代理IP讲得比较乱,试过用headers,但是只要我一加上headers,虽然返回了200,但是bsObj.find(html)的返回还是NONE,纠结了很久不知道什么问题,有大佬解决一下吗?

如果获取一段python代码的执行结果?

就是类似一个在线的python代码编辑器。 将代码传到服务器端执行,并且显示执行结果。 服务器端的开发用的也是python代码,求教我该如何执行这段代码并且获得执行结果呢? 比如说传到服务器的代码是: *** print 'test' print 1+2 print bb *** 输出应该是: *** test 3 NameError: name 'test' is not defined *** 想要得到这3段输出(包括错误信息),该怎么做呢?

selenium + phantomjs +python网络抓取问题

在自己做的案例中,我提供了200个网站链接,然后进行网络抓取,每抓取一个网站就保存一个值,但是最后总有一个网站没有存值,我的分析可能是因为这个网站一直处于链接状态, 有没有什么方法可以判断链接网站的时候,如果超过多少秒还处于链接状态则退出并记录?

python如何抓取Ajax请求的页面?

抓取facebook首页是返回的对象只有首屏的内容,实际访问了一下 其他页面是鼠标滚动事件请求加载的,请大神帮忙解释一下:怎么抓取鼠标滚动事件加载的页面。

求用Python写个小函数:让用户在界面输入一个数字,然后返回输出这个数字加1的结果

求用Python写个函数:让用户在界面输入一个数字,然后返回输出这个数字加1的结果,小白刚学Python,求指点,谢谢!

python中如何抓取动态页面的表格里的内容

比如这个网址http://gs.amac.org.cn/amac-infodisc/res/pof/manager/index.html 我想拿到对应表格里面公司点进去之后的URL。。。 用了bs4和parse什么的去做,结果爬下来的页面只是框架,不含表格里的内容的 结果我post去做,不知道如何返回这些表格的内容,在chrome的network分析里面看到的就是在response里的content的内容,这是我想要的,好难啊 或者大神们教我用selenium来模拟点击下一页什么的。。。

python3.6中输入代码运行没有结果,只有一个中括号,求大神解答

小白刚刚上手,模仿写了一段代码,但是一直运行没有结果,求解答,代码如下,跪谢 from bs4 import BeautifulSoup import requests url=("https://m.weibo.cn/?jumpfrom=wapv4&tip=1") vb_data=requests.get(url) soup=BeautifulSoup(vb_data.text,"lxml") imgs=soup.select("div.media-pic-list") print(imgs)

使用Python抓取下一页网页数据

怎么抓取一个无论怎么跳转其url都不变的网页?通过Requests和BeautifulSoup能实现吗? [http://www.szairport.com/frontapp/HbxxServlet?iscookie=C](http://www.szairport.com/frontapp/HbxxServlet?iscookie=C "") 另外其下一页的跳转指令是js写的,我该怎么通过这条指令跳转下一页,命令如下: ``` [<a href="javascript:void(0);" onclick="page.moveNext()">下一页</a>] ``` 另附上我修改的代码; ``` import requests import re import BeautifulSoup import json a={"start":150,"limit":20} r=requests.post("http://www.szairport.com/frontapp/HbxxServlet",data=json.dumps(a)) soup=BeautifulSoup.BeautifulSoup(r.text) print soup ```

python3 网页抓取转码问题,求赐教

用chardet返回网页类型,当返回 ascii、 windows-1254 None 的时候转码utf-8不成功,输出中文出现乱码,请问要怎么实现转码?谢谢大神赐教!

python抓取网页,网页源码无法解码

抓取的网页:http://esf.nanjing.fang.com/ 浏览器查看源码显示content="text/html; charset=gb2312" python chardet 结果显示{'confidence': 0.0, 'encoding': None} 通过page=page.decode('gb2312','ignore').encode('utf-8'),解码后print为乱码 求问应该如何对这个网页的源代码进行解码从而抓取需要的信息?

python定义的函数怎么返回遍历的多个值,如果是返回多个字符串呢?

``` #第一个函数: def A(): for i in range(3): if i <3: pass print(i) #调用时输出结果是0,1,2 ``` ``` #第二个函数: def A(): for i in range(3): if i <3: pass return i #调用时输出结果是2 ``` 1、有什么办法可以让第二个函数使用return 也能够像第一个函数使用print那样输出3个值的结果 ``` def B(): for i in range(100): if i <3: print("编号{},字符串A".format(i)) if 3<i<5: print("编号{},字符串B".format(i)) if i >5: print("编号{},字符串C".format(i)) break ``` 2、又如函数B,字符串如果用return该怎么返回

python 用正则怎么提取到最后一个指定字符后的字符串

a = "Server.ServerCapabilities.aaaaa" b = "Server.ServerCapabilities.zzzzz.bbbbb" c = "Server.ServerCapabilities.rrrrrrr.ssssssss.cccccc" 我怎样才能取到每个字符串最后一个 . 后的字符串 例如: a 我取到"aaaaa" b 我取到"bbbbb" c 我取到"cccccc" 怎么用python的re模块里的findall来拿到它?? 望大佬们帮助一下小弟

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

我说我不会算法,阿里把我挂了。

不说了,字节跳动也反手把我挂了。

抖音上很火的时钟效果

反正,我的抖音没人看,别人都有几十万个赞什么的。 发到CSDN上来,大家交流下~ 主要用到原生态的 JS+CSS3。 具体不解释了,看注释: &lt;!DOCTYPE html&gt; &lt;html lang="en"&gt; &lt;head&gt; &lt;meta charset="UTF-8"&gt; &lt;title&gt;Title&lt;/tit...

记录下入职中软一个月(外包华为)

我在年前从上一家公司离职,没想到过年期间疫情爆发,我也被困在家里,在家呆着的日子让人很焦躁,于是我疯狂的投简历,看面试题,希望可以进大公司去看看。 我也有幸面试了我觉得还挺大的公司的(虽然不是bat之类的大厂,但是作为一名二本计算机专业刚毕业的大学生bat那些大厂我连投简历的勇气都没有),最后选择了中软,我知道这是一家外包公司,待遇各方面甚至不如我的上一家公司,但是对我而言这可是外包华为,能...

培训班出来的人后来都怎么样了?(二)

接着上回说,培训班学习生涯结束了。后面每天就是无休止的背面试题,不是没有头脑的背,培训公司还是有方法的,现在回想当时背的面试题好像都用上了,也被问到了。回头找找面试题,当时都是打印下来天天看,天天背。 不理解呢也要背,面试造飞机,上班拧螺丝。班里的同学开始四处投简历面试了,很快就有面试成功的,刚开始一个,然后越来越多。不知道是什么原因,尝到胜利果实的童鞋,不满足于自己通过的公司,嫌薪水要少了,选择...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

推荐9个能让你看一天的网站

分享的这9个保证另你意外的网站,每个都非常实用!非常干货!毫不客气的说,这些网站最少值10万块钱。 利用好这些网站,会让你各方面的技能都得到成长,不说让你走上人生巅峰,但对比现在的你,在眼界、学识、技能方面都有质的飞跃。 一、AIRPANO 传送门:https://www.airpano.com/360photo_list.php 这是一个可以躺在家里,就能环游世界的神奇网站。 世界那么大,绝大多...

大牛都会用的IDEA调试技巧!!!

导读 前天面试了一个985高校的实习生,问了他平时用什么开发工具,他想也没想的说IDEA,于是我抛砖引玉的问了一下IDEA的调试用过吧,你说说怎么设置断点...

都前后端分离了,咱就别做页面跳转了!统统 JSON 交互

文章目录1. 无状态登录1.1 什么是有状态1.2 什么是无状态1.3 如何实现无状态1.4 各自优缺点2. 登录交互2.1 前后端分离的数据交互2.2 登录成功2.3 登录失败3. 未认证处理方案4. 注销登录 这是本系列的第四篇,有小伙伴找不到之前文章,松哥给大家列一个索引出来: 挖一个大坑,Spring Security 开搞! 松哥手把手带你入门 Spring Security,别再问密...

97年世界黑客编程大赛冠军作品(大小仅为16KB),惊艳世界的编程巨作

这是世界编程大赛第一名作品(97年Mekka ’97 4K Intro比赛)汇编语言所写。 整个文件只有4095个字节, 大小仅仅为16KB! 不仅实现了3D动画的效果!还有一段震撼人心的背景音乐!!! 内容无法以言语形容,实在太强大! 下面是代码,具体操作看最后! @echo off more +1 %~s0|debug e100 33 f6 bf 0 20 b5 10 f3 a5...

不要再到处使用 === 了

我们知道现在的开发人员都使用 === 来代替 ==,为什么呢?我在网上看到的大多数教程都认为,要预测 JavaScript 强制转换是如何工作这太复杂了,因此建议总是使用===。这些都...

什么是a站、b站、c站、d站、e站、f站、g站、h站、i站、j站、k站、l站、m站、n站?00后的世界我不懂!

A站 AcFun弹幕视频网,简称“A站”,成立于2007年6月,取意于Anime Comic Fun,是中国大陆第一家弹幕视频网站。A站以视频为载体,逐步发展出基于原生内容二次创作的完整生态,拥有高质量互动弹幕,是中国弹幕文化的发源地;拥有大量超粘性的用户群体,产生输出了金坷垃、鬼畜全明星、我的滑板鞋、小苹果等大量网络流行文化,也是中国二次元文化的发源地。 B站 全称“哔哩哔哩(bilibili...

十个摸鱼,哦,不对,是炫酷(可以玩一整天)的网站!!!

文章目录前言正文**1、Kaspersky Cyberthreat real-time map****2、Finding Home****3、Silk – Interactive Generative Art****4、Liquid Particles 3D****5、WINDOWS93****6、Staggering Beauty****7、Ostagram图片生成器网址****8、全历史网址*...

终于,月薪过5万了!

来看几个问题想不想月薪超过5万?想不想进入公司架构组?想不想成为项目组的负责人?想不想成为spring的高手,超越99%的对手?那么本文内容是你必须要掌握的。本文主要详解bean的生命...

大厂的 404 页面都长啥样?最后一个笑了...

每天浏览各大网站,难免会碰到404页面啊。你注意过404页面么?猿妹搜罗来了下面这些知名网站的404页面,以供大家欣赏,看看哪个网站更有创意: 正在上传…重新上传取消 腾讯 正在上传…重新上传取消 网易 淘宝 百度 新浪微博 正在上传…重新上传取消 新浪 京东 优酷 腾讯视频 搜...

自从喜欢上了B站这12个UP主,我越来越觉得自己是个废柴了!

不怕告诉你,我自从喜欢上了这12个UP主,哔哩哔哩成为了我手机上最耗电的软件,几乎每天都会看,可是吧,看的越多,我就越觉得自己是个废柴,唉,老天不公啊,不信你看看…… 间接性踌躇满志,持续性混吃等死,都是因为你们……但是,自己的学习力在慢慢变强,这是不容忽视的,推荐给你们! 都说B站是个宝,可是有人不会挖啊,没事,今天咱挖好的送你一箩筐,首先啊,我在B站上最喜欢看这个家伙的视频了,为啥 ,咱撇...

代码注释如此沙雕,会玩还是你们程序员!

某站后端代码被“开源”,同时刷遍全网的,还有代码里的那些神注释。 我们这才知道,原来程序员个个都是段子手;这么多年来,我们也走过了他们的无数套路… 首先,产品经理,是永远永远吐槽不完的!网友的评论也非常扎心,说看这些代码就像在阅读程序员的日记,每一页都写满了对产品经理的恨。 然后,也要发出直击灵魂的质问:你是尊贵的付费大会员吗? 这不禁让人想起之前某音乐app的穷逼Vip,果然,穷逼在哪里都是...

一场疫情,炸出了退休的COBOL程序员

COBOL编程语言,估计大多数程序员从没听说过,我这样的编程老司机,也是只闻其名,从未一睹芳容。出门问了问度娘,答案如下:COBOL语言,是一种面向过程的高级程序设计语言,主要用于数据...

爬虫(101)爬点重口味的

小弟最近在学校无聊的很哪,浏览网页突然看到一张图片,都快流鼻血。。。然后小弟冥思苦想,得干一点有趣的事情python 爬虫库安装https://s.taobao.com/api?_ks...

讲真,这两款idea插件,能治愈你英语不好的病

时不时就有小伙伴问我,“二哥,能推荐一款 IDE 吗?”你看这话问的,现在搞 Java 的不都在用 Intellij IDEA 吗,还用得着推荐(我已经和 Eclipse 分手了)。然后小伙伴又说,“二哥,IDEA 支持中文吗?我英语不太好。”你看这话问的,搞编程的,英语不好是硬伤啊! 不过,随着 IDEA 最新版(版本号是 2020.1)的发布,英语不好的病可以彻底治愈了。为什么这么说呢?因为 ...

在拼多多上班,是一种什么样的体验?我心态崩了呀!

之前有很多读者咨询我:武哥,在拼多多上班是一种什么样的体验?由于一直很忙,没抽出时间来和大家分享。上周末特地花点时间来写了一篇文章,跟大家分享一下拼多多的日常。 1. 倒时差的作息 可能很多小伙伴都听说了,拼多多加班很严重。这怎么说呢?作息上确实和其他公司有点区别,大家知道 996,那么自然也就能理解拼多多的“11 11 6”了。 所以当很多小伙伴早上出门时,他们是这样的: 我们是这样的: 当...

又一起程序员被抓事件

就在昨天互联网又发生一起让人心酸的程序员犯罪事件,著名的百度不限速下载软件 Pandownload PC 版作者被警方抓获。案件大致是这样的:软件的作者不仅非法盗取用户数据,还在QQ群进...

瑞德西韦重症用药结果再曝光,上百名重症一周内好转,股价大涨19%

郭一璞 发自 凹非寺量子位 报道 | 公众号 QbitAI期盼已久的瑞德西韦临床数据,现在“偷跑”了。在芝加哥大学医学院的临床试验中,125名病人参与,大部分人都已经出院,其中只有2名病...

应聘3万的职位,有必要这么刁难我么。。。沙雕。。。

又一次被面试官带到坑里面了。面试官:springmvc用过么?我:用过啊,经常用呢面试官:springmvc中为什么需要用父子容器?我:嗯。。。没听明白你说的什么。面试官:就是contr...

Vue商城——详情页功能

详情页实现思路 点击商品进去详情页,根据点击请求更加详细的信息,要传过来goodsItem的iid,根据id去服务器请求更加详细的信息;配置路由映射关系,点击进行跳转,带参数传递跳转 itemClick(){ this.$router.push('/detail/'+this.goodsItem.iid) /* this.$router.push({ ...

太狠了,疫情期间面试,一个问题砍了我5000!

疫情期间找工作确实有点难度,想拿到满意的薪资,确实要点实力啊!面试官:Spring中的@Value用过么,介绍一下我:@Value可以标注在字段上面,可以将外部配置文件中的数据,比如可以...

自学编程的 6 个致命误区

嗨,小伙伴们大家好,我是沉默王二。本篇文章来和大家聊聊自学编程中的一些误区——这是我在 B 站上看了羊哥的一期视频后有感而发的文章。因为确实有很多读者也曾私信问过我这些方面的问题,很有代表性,所以我就结合自己的亲身体会来谈一谈,希望对小伙伴们有所启发。 01、追求时髦 所谓基础不牢,地动山摇啊。可很多小伙伴压根就没注意过这个问题,市面上出什么新鲜的技术就想去尝试,结果把自己学的乱七八糟,心灰意冷...

相关热词 c# 局部 截图 页面 c#实现简单的文件管理器 c# where c# 取文件夹路径 c# 对比 当天 c# fir 滤波器 c# 和站 队列 c# txt 去空格 c#移除其他类事件 c# 自动截屏
立即提问