爬取电视剧大明王朝1566的分集剧情

Question

如何爬取大明王朝1566的全部分集剧情

我的初步代码如下
import requests
from bs4 import BeautifulSoup

网页地址

url = "https://baike.baidu.com/item/%E5%A4%A7%E6%98%8E%E7%8E%8B%E6%9C%9D1566/31194#%E5%88%86%E9%9B%86%E5%89%A7%E6%83%85"

发送请求

response = requests.get(url)

检查请求是否成功

if response.status_code == 200:
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 定位到 <ul class="plotWrap_M_TLr"></ul> 容器
plot_wrap = soup.find('ul', class_='plotWrap_M_TLr')

# 如果容器存在
if plot_wrap:
    # 在该容器内查找所有符合条件的 <span> 标签
    span_tags = plot_wrap.find_all('span', class_='text_FvX0x', attrs={'data-text': 'true'})
    
    # 提取并打印内容
    for span in span_tags:
        print(span.get_text(strip=True))
else:
    print("未找到 <ul class='plotWrap_M_TLr'> 容器")

else:
print("请求失败，状态码：", response.status_code)

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

爬取电视剧大明王朝1566的分集剧情

你想要爬取电视剧大明王朝1566的全部分集剧情，可以使用 Python 的 requests 和 BeautifulSoup 库。下面是一个简单的示例代码：

import requests
from bs4 import BeautifulSoup

url = "https://baike.baidu.com/item/%E5%A4%A7%E6%98%8E%E7%8E%8B%E5%B4%8E1566/20451145"
headers = {"User-Agent": "Mozilla/5.0"}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content, "html.parser")

episodes = []
for episode in soup.find_all("li", class_="lemma-summary"):
    title = episode.find("h2").text.strip()
    content = episode.find("p").text.strip()
    episodes.append({"title": title, "content": content})

print(episodes)

这个代码将爬取大明王朝1566的页面，然后使用 BeautifulSoup 库解析 HTML 内容，找到所有的 episode 列表项，并将每个 episode 的标题和内容提取出来。

请注意，这只是一个简单的示例代码，你可能需要根据实际情况进行修改和优化。例如，你可能需要处理页面的 JavaScript 代码、Cookie 等问题。

另外，这个代码只爬取了页面上的 episode 列表项，如果你想要爬取更多的信息，例如剧情描述、图片等，你可能需要使用更复杂的爬虫技术。