Python爬取指定微博话题下的内容，保存为txt

Question

如图所示，我想要爬取＃人工智能未来会取代人类工作吗＃这一话题下面所有人发言的内容，打包在一个txt文件中，需要全部爬取，不能只爬几条
不要给我模板，直接按照我的要求把所有需要改的地方按照我的问题弄高，我要一个直接能按照我要求跑的代码！刚刚这些全部不能用，不要敷衍一个苦逼的论文狗了

Answer 1

引自免费微信小程序：皆我百晓生

要爬取指定微博话题下的内容并将其保存为TXT文件，可以遵循以下步骤：

步骤1：环境准备

确保已安装以下Python库：

1. requests：用于发送HTTP请求。
2. beautifulsoup4：用于解析HTML文档。
3. fake_useragent（可选）：生成随机用户代理，有助于防止爬虫被识别。

安装命令：

pip install requests beautifulsoup4 fake_useragent

步骤2：编写爬虫脚本

使用Python编写爬虫脚本，实现以下功能：

1. 发送GET请求获取微博话题页面。
2. 使用BeautifulSoup解析HTML，提取微博内容。
3. 将爬取的数据写入TXT文件。

以下是实现这些功能的完整代码示例：

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent  # 可选，用于生成随机用户代理

# 目标话题
topic = "#人工智能未来会取代人类工作吗#"

# 微博话题搜索URL模板
url_template = "https://m.weibo.cn/search?containerid=100103type%3D1%26q%3D{}"

# 获取随机用户代理（可选）
ua = UserAgent()

def fetch_topic_tweets(topic, page=1):
    url = url_template.format(topic)
    headers = {
        "User-Agent": ua.random,
    }

    response = requests.get(url, headers=headers)

    if response.status_code == 200:
        soup = BeautifulSoup(response.text, "html.parser")
        tweets = soup.select(".card-wrap .card .content .text")
        return [tweet.get_text().strip() for tweet in tweets]
    else:
        print(f"请求失败，状态码：{response.status_code}")
        return []

def save_tweets_to_txt(tweets, filename="tweets.txt"):
    with open(filename, "w", encoding="utf-8") as f:
        for tweet in tweets:
            f.write(tweet + "\n")

if __name__ == "__main__":
    # 确定爬取页数（根据实际需求调整）
    num_pages = 5

    all_tweets = []
    for i in range(1, num_pages + 1):
        print(f"正在爬取第{i}页...")
        tweets = fetch_topic_tweets(topic, page=i)
        all_tweets.extend(tweets)

    save_tweets_to_txt(all_tweets)
    print("爬取完成，已将内容保存到tweets.txt文件中。")

注意事项：

1. 合法性与合规性：在进行网络爬虫时，请确保遵守相关网站的服务条款、robots.txt规则以及法律法规，尊重网站的数据所有权。过度频繁或未经许可的爬取可能导致IP被封禁或法律纠纷。

2. 动态加载与反爬机制：微博可能采用动态加载、验证码、滑块验证等反爬机制。上述代码适用于简单情况，若遇到反爬措施，可能需要使用更复杂的方法（如Selenium、Scrapy等）或购买官方API访问权限。

3. 分页爬取：微博话题通常包含多页内容。示例代码中通过修改num_pages变量控制爬取页数。实际使用时，请根据话题的总页数适当调整。

4. 代码稳定性：微博网页结构可能会随时间变化，导致代码失效。如果发现爬取结果不正确，可能需要更新BeautifulSoup的选择器。

运行上述代码后，爬取的微博内容将保存到名为tweets.txt的文本文件中。