m0_62895523 2022-12-20 19:53 采纳率: 80%
浏览 176
已结题

python爬虫编程习题

自选一个大学,从大学的主页上爬出机构的URL、名称、简要介绍、电话、邮箱。再进入下属机构的主页,从中爬出下属机构的URL、名称、简要介绍、电话、邮箱。所有爬出的数据保存于同一个文件中。
(建议使用beautifulsoup,等基础入门的,因为是初学者一名)

  • 写回答

6条回答 默认 最新

  • CSDN专家-showbo 2022-12-20 20:05
    关注

    这个倒是同一个模板。。。不过机构和院系比较少,不过研究bs也差不多了

    from bs4 import BeautifulSoup
    import requests
    from openpyxl import Workbook
    header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
    url = "http://www.bowenedu.cn/xxgk1/xxjj.htm"
    
    data=[]
    html=requests.get(url,headers=header).content.decode('utf-8')
    soup = BeautifulSoup(html,"html.parser")
    name=soup.find('title').text.split('-')[-1]
    intro=soup.find('div',{"id":"vsb_content_4"}).text
    ps=soup.findAll('p')
    phone=""
    email=""
    for p in ps:
        if '电 话:' in p.text:
            phone=p.text.replace('电 话:','')
        if '电子信箱:' in p.text:
            email=p.text.replace('电子信箱:','')
    data.append([url,name,intro,phone,email])
    
    #院部设置
    depts=soup.select('div.menu li.item')[3].select('.secNav a')
    for dept in depts:
        url=dept.get('href')
        if ".asp" not in url:
            continue
        name=dept.text
        html=requests.get(url,headers=header).content.decode('gb2312')
        soup = BeautifulSoup(html,"html.parser")
    
        arr=soup.select('#foot')[0].text.strip().split('    ')
        phone=arr[0].replace('学院咨询电话:','')
        email=arr[1].replace('管理员信箱:','')
    
        introurl='http://tiyu.bowenedu.cn'+str(soup.select('#guide a')[2].get('href'))
    
        html=requests.get(introurl,headers=header).content.decode('gb2312')
        isoup = BeautifulSoup(html,"html.parser")
        intro=isoup.select('div.down')[0].text
    
        data.append([url,name,intro,phone,email])
    
    
    
    wb=Workbook()
    sheet=wb.worksheets[0]#得到默认的工作簿
    sheet.title="兰州博文科技学院"#改名称
    sheet.append(['URL','名称','简要介绍','电话','邮箱'])
    for item in data:
        sheet.append(item)
     
    wb.save("兰州博文科技学院.xlsx")
    print('采集完毕')
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(5条)

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 12月21日
  • 已采纳回答 12月21日
  • 创建了问题 12月20日

悬赏问题

  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程
  • ¥15 redis-full-check比较 两个集群的数据出错
  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办
  • ¥15 kylin启动报错log4j类冲突
  • ¥15 超声波模块测距控制点灯,灯的闪烁很不稳定,经过调试发现测的距离偏大
  • ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序