关于#python#的问题：微博爬取博文怎么展开得到完整的博文内容并保存到表格中

Question

微博爬取博文怎么展开得到完整的博文内容并保存到表格中，急需帮助！

Answer 1

本答案参考 多次询问 ChatGPT-3.5 后选择的最佳回答，若是满意，还请采纳，谢谢

以下是使用Python爬取微博博文并展开获取完整内容保存到表格（这里以CSV表格为例）的大致步骤：

一、分析需求和准备工作

1. 了解微博的结构

   • 微博的博文可能是部分显示，完整内容可能需要点击“展开全文”等操作才能获取。这可能涉及到模拟浏览器行为，因为部分内容可能是通过JavaScript加载的。

2. 安装必要的库

   • requests：用于发送HTTP请求获取网页内容。

   • BeautifulSoup：用于解析HTML页面。

   • pandas：用于处理数据并保存为表格。

   • 可以使用pip安装这些库，例如：

     pip install requests beautifulsoup4 pandas
     

二、爬取微博博文的基本步骤

1. 发送请求获取页面

   • 首先，需要找到微博博文的URL。假设我们要爬取某个特定用户的微博或者某个话题下的微博。
   • 使用requests库发送GET请求获取页面内容。
     ```python
     import requests

   url = 'https://weibo.com/%E7%89%B9%E5%AE%9A%E7%94%A8%E6%88%B7%E6%88%96%E8%AF%9D%E9%A2%98'
   headers = {

   'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
   

   }
   response = requests.get(url, headers = headers)
   page_content = response.text
   ```

   • 这里设置User - Agent头部信息是为了模拟浏览器访问，避免被服务器拒绝访问。

2. 解析页面获取博文内容

   • 使用BeautifulSoup解析HTML页面。
     ```python
     from bs4 import BeautifulSoup

   soup = BeautifulSoup(page_content, 'html.parser')

   假设微博博文内容在特定的class或id下，这里需要根据实际情况调整

   blog_posts = soup.find_all('div', class_='微博博文的class')
   for post in blog_posts:

   partial_content = post.text
   # 这里的partial_content可能是部分内容，需要进一步展开
   

   ```

3. 展开完整内容（可能需要模拟点击等操作）

   • 如果完整内容是通过JavaScript加载的，可能需要使用selenium库来模拟浏览器操作。
   • 安装selenium：pip install selenium
   • 下载对应浏览器的驱动（如ChromeDriver）并配置路径。
     ```python
     from selenium import webdriver
     from selenium.webdriver.chrome.options import Options

   chrome_options = Options()
   chrome_options.add_argument('--headless') # 无界面模式运行
   driver = webdriver.Chrome(options = chrome_options)

   driver.get(url)

   找到展开全文的按钮并点击（这里的选择器需要根据实际情况调整）

   expand_button = driver.find_element_by_css_selector('展开全文按钮的选择器')
   expand_button.click()
   full_content = driver.page_source
   driver.quit()

   soup_full = BeautifulSoup(full_content, 'html.parser')
   full_posts = soup_full.find_all('div', class_='微博博文的class')
   for post in full_posts:

   full_text = post.text
   

   ```

4. 保存到表格（使用pandas）

   • 将获取到的微博博文内容保存到pandas的DataFrame中，然后保存为CSV表格。
     ```python
     import pandas as pd

   data = {

   '博文内容': [full_text]
   

   }
   df = pd.DataFrame(data)
   df.to_csv('微博博文内容.csv', index=False)
   ```

需要注意的是，微博的网页结构可能会发生变化，并且爬取微博内容需要遵守相关法律法规和微博的使用条款。