python爬虫编程习题

Question

自选一个大学，从大学的主页上爬出机构的URL、名称、简要介绍、电话、邮箱。再进入下属机构的主页，从中爬出下属机构的URL、名称、简要介绍、电话、邮箱。所有爬出的数据保存于同一个文件中。
（建议使用beautifulsoup,等基础入门的，因为是初学者一名）

Answer 1

兰州博文科技学院 http://www.bowenedu.cn/

这个倒是同一个模板。。。不过机构和院系比较少，不过研究bs也差不多了

from bs4 import BeautifulSoup
import requests
from openpyxl import Workbook
header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
url = "http://www.bowenedu.cn/xxgk1/xxjj.htm"

data=[]
html=requests.get(url,headers=header).content.decode('utf-8')
soup = BeautifulSoup(html,"html.parser")
name=soup.find('title').text.split('-')[-1]
intro=soup.find('div',{"id":"vsb_content_4"}).text
ps=soup.findAll('p')
phone=""
email=""
for p in ps:
    if '电 话：' in p.text:
        phone=p.text.replace('电 话：','')
    if '电子信箱：' in p.text:
        email=p.text.replace('电子信箱：','')
data.append([url,name,intro,phone,email])

#院部设置
depts=soup.select('div.menu li.item')[3].select('.secNav a')
for dept in depts:
    url=dept.get('href')
    if ".asp" not in url:
        continue
    name=dept.text
    html=requests.get(url,headers=header).content.decode('gb2312')
    soup = BeautifulSoup(html,"html.parser")

    arr=soup.select('#foot')[0].text.strip().split('    ')
    phone=arr[0].replace('学院咨询电话：','')
    email=arr[1].replace('管理员信箱：','')

    introurl='http://tiyu.bowenedu.cn'+str(soup.select('#guide a')[2].get('href'))

    html=requests.get(introurl,headers=header).content.decode('gb2312')
    isoup = BeautifulSoup(html,"html.parser")
    intro=isoup.select('div.down')[0].text

    data.append([url,name,intro,phone,email])



wb=Workbook()
sheet=wb.worksheets[0]#得到默认的工作簿
sheet.title="兰州博文科技学院"#改名称
sheet.append(['URL','名称','简要介绍','电话','邮箱'])
for item in data:
    sheet.append(item)
 
wb.save("兰州博文科技学院.xlsx")
print('采集完毕')