如何用python 爬取喜马拉雅免费音频

Question

我想用python获取喜马拉雅的音频比如这个网站https://www.ximalaya.com/album/12642314，以前的方法不管用了，求指教

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

爬取喜马拉雅音频需要遵守网站的robots.txt规则，并且可能需要处理一些反爬虫措施。以下是一个基本的Python爬虫示例，使用了requests和BeautifulSoup库来获取网页内容并解析音频链接。请注意，这个示例仅用于学习目的，实际使用时请遵守相关法律法规。

首先，确保已经安装了requests和BeautifulSoup库：

pip install requests beautifulsoup4

然后，可以使用以下代码来爬取音频链接：

import requests
from bs4 import BeautifulSoup

def get_audio_links(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    audio_links = []

    for link in soup.find_all('a', href=True):
        if 'mp3' in link['href']:
            audio_links.append(link['href'])

    return audio_links

url = 'https://www.ximalaya.com/album/12642314'
audio_links = get_audio_links(url)
print(audio_links)

这段代码会输出一个包含音频链接的列表。然而，由于喜马拉雅网站可能使用了一些反爬虫技术，如JavaScript动态加载、验证码等，所以这个简单的示例可能无法直接获取到音频链接。你可能需要进一步研究喜马拉雅网站的结构，了解如何绕过这些反爬虫措施。