爬虫获取高校排名！爬取多页信息

Question

急！怎么爬取微软高校排名前四页的高校信息？网页网址：

【软科排名】2024年最新软科中国大学排名|中国最好大学排名 软科中国大学排名基于自主研发的高等教育评价专利技术和战略合作伙伴的数据支持，设置十个评价模块，细分30个评价维度，使用百余项评价指标，涉及数百个评价变量，是关于中国高校办学水平最为全面、最为系统、最为细致的排名评价。 https://www.shanghairanking.cn/rankings/bcur/2024

想爬取排名、高校名称、省市、类型、总分、办学层次。

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

要爬取微软高校排名网站的前四页数据，你可以使用Python语言结合requests库和BeautifulSoup库来实现。以下是一个基本的代码示例，用于爬取指定网页的高校排名信息。请注意，这个示例可能需要根据实际网页结构进行调整。

import requests
from bs4 import BeautifulSoup

# 定义一个函数用于获取单页的高校排名信息
def get_ranking_info(page_url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    response = requests.get(page_url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 假设排名信息存储在table的tbody中，每行tr代表一个高校的信息
    tbody = soup.find('tbody')
    trs = tbody.find_all('tr')
    
    ranking_info = []
    for tr in trs:
        tds = tr.find_all('td')
        ranking = tds[0].get_text(strip=True)
        name = tds[1].get_text(strip=True)
        location = tds[2].get_text(strip=True)
        category = tds[3].get_text(strip=True)
        score = tds[4].get_text(strip=True)
        level = tds[5].get_text(strip=True)
        
        ranking_info.append({
            '排名': ranking,
            '高校名称': name,
            '省市': location,
            '类型': category,
            '总分': score,
            '办学层次': level
        })
    
    return ranking_info

# 爬取前四页的数据
all_ranking_info = []
for i in range(1, 5):
    page_url = f"https://www.shanghairanking.cn/rankings/bcur/2024?page={i}"
    page_data = get_ranking_info(page_url)
    all_ranking_info.extend(page_data)

# 打印或保存数据
for info in all_ranking_info:
    print(info)

在爬取数据时，你可能需要处理分页。上述代码示例中，我使用了循环来请求每一页的URL，并收集所有页面的数据。

关于正则表达式的使用，如果你需要从复杂的HTML结构中提取特定信息，正则表达式可以作为一个辅助工具。但是，BeautifulSoup提供了更简单、更直观的方法来解析HTML，因此通常推荐使用BeautifulSoup。

根据你提供的标签，以下是一些相关的参考资料：

• Python爬虫[^1^]
• python爬虫小案例_中国大学排名[^2^]
• Python爬虫常用正则表达式及HTML网页标签分析总结[^3^]
• Python爬虫——正则表达式（超详细，附带实战演练[^4^]
• 内附源码！使用Python和requests库轻松爬取全国高校排名[^6^]
• 常用正则表达式最强汇总（含Python代码举例讲解+爬虫实战[^9^]

请注意，上述代码和参考资料仅供参考，实际使用时可能需要根据目标网站的具体情况进行调整。