自选一个大学,从大学的主页上爬出机构的URL、名称、简要介绍、电话、邮箱。再进入下属机构的主页,从中爬出下属机构的URL、名称、简要介绍、电话、邮箱。所有爬出的数据保存于同一个文件中。
(建议使用beautifulsoup,等基础入门的,因为是初学者一名)
![](https://profile-avatar.csdnimg.cn/default.jpg!4)
python爬虫编程习题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
6条回答 默认 最新
- CSDN专家-showbo 2022-12-20 20:05关注兰州博文科技学院 http://www.bowenedu.cn/
这个倒是同一个模板。。。不过机构和院系比较少,不过研究bs也差不多了
from bs4 import BeautifulSoup import requests from openpyxl import Workbook header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"} url = "http://www.bowenedu.cn/xxgk1/xxjj.htm" data=[] html=requests.get(url,headers=header).content.decode('utf-8') soup = BeautifulSoup(html,"html.parser") name=soup.find('title').text.split('-')[-1] intro=soup.find('div',{"id":"vsb_content_4"}).text ps=soup.findAll('p') phone="" email="" for p in ps: if '电 话:' in p.text: phone=p.text.replace('电 话:','') if '电子信箱:' in p.text: email=p.text.replace('电子信箱:','') data.append([url,name,intro,phone,email]) #院部设置 depts=soup.select('div.menu li.item')[3].select('.secNav a') for dept in depts: url=dept.get('href') if ".asp" not in url: continue name=dept.text html=requests.get(url,headers=header).content.decode('gb2312') soup = BeautifulSoup(html,"html.parser") arr=soup.select('#foot')[0].text.strip().split(' ') phone=arr[0].replace('学院咨询电话:','') email=arr[1].replace('管理员信箱:','') introurl='http://tiyu.bowenedu.cn'+str(soup.select('#guide a')[2].get('href')) html=requests.get(introurl,headers=header).content.decode('gb2312') isoup = BeautifulSoup(html,"html.parser") intro=isoup.select('div.down')[0].text data.append([url,name,intro,phone,email]) wb=Workbook() sheet=wb.worksheets[0]#得到默认的工作簿 sheet.title="兰州博文科技学院"#改名称 sheet.append(['URL','名称','简要介绍','电话','邮箱']) for item in data: sheet.append(item) wb.save("兰州博文科技学院.xlsx") print('采集完毕')
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报 编辑记录
悬赏问题
- ¥15 在若依框架下实现人脸识别
- ¥15 网络科学导论,网络控制
- ¥100 安卓tv程序连接SQLSERVER2008问题
- ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比,为什么Snetinel-2计算的结果最小值特别小,而Lansat8就很平均
- ¥15 metadata提取的PDF元数据,如何转换为一个Excel
- ¥15 关于arduino编程toCharArray()函数的使用
- ¥100 vc++混合CEF采用CLR方式编译报错
- ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
- ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
- ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同