软科大学爬取获取所有数据

Question

大学软科爬取，数据进行爬取，并传入列表，并进行下载，提取出相应的信息

Answer 1

该回答引用ChatGPT
首先，需要确定要获取软科大学排名的哪些信息，例如学校名称、排名、学校类型等信息。然后可以使用Python的爬虫库（例如BeautifulSoup、 requests）来向软科大学排名网站发送请求，并解析获取到的HTML页面，提取所需的信息存储至列表中。最后再使用Python的文件读写模块将信息保存至文件中。

以下是一个可能的实现代码示例：

import requests
from bs4 import BeautifulSoup

# 发送请求获取HTML页面
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
response = requests.get(url)

# 解析HTML页面并提取所需信息
soup = BeautifulSoup(response.text, 'html.parser')
table = soup.find('table', attrs={'class': 'table table-hover'})
schools_list = []
for row in table.tbody.find_all('tr')[1:]:
    school_info = []
    for cell in row.find_all('td'):
        school_info.append(cell.text.strip())
    schools_list.append(school_info)

# 将信息保存至文件
with open('schools.txt', 'w', encoding='utf-8') as f:
    f.write('学校名称\t排名\t城市\t学校类型
')
    for school_info in schools_list:
        f.write('\t'.join(school_info) + '
')

# 打印列表
for school_info in schools_list:
    print(school_info)

这个示例代码通过请求软科大学排名网站并使用BeautifulSoup解析HTML页面，提取每一行的信息并存储至列表中。最后再使用文件读写模块将信息保存至文件中。你可以根据实际需要自行修改代码实现功能需求。