想从用urlretrieve下载mp3，但是每次都被跳转另一个mp3？

Question

我写了简单程序 想从http://www.ting89.com/下载mp3

_opener = urllib.request.build_opener()
_opener.addheaders = [("User-agent", "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; Touch; rv:11.0) like Gecko")]

url = urllib.parse.quote(_url_link, safe='/:?=')
try:
    _opener.open(url)
    
    urlretrieve(url, _path_local, cbk)

    
except Exception as e:
    print(e)

结果每次都只能下载一个网站自己的mp3，手动下载可以下载真正的mp3，是被反爬虫了吗？

Answer 1

你的问题可能是由于网站对爬虫采取了一些反爬虫机制。这些机制可能包括检测用户代理（User-Agent）、设置 cookie、JavaScript 渲染等。你已经设置了一个基本的用户代理，但仍然可能需要更多的处理。

以下是一些可能帮助你解决问题的方法：

1. 设置更真实的用户代理： 有些网站可能只接受特定浏览器的请求。你可以尝试使用真实浏览器的用户代理，例如 Chrome 或 Firefox。

   _opener.addheaders = [("User-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")]
   

2. 处理 JavaScript 渲染： 如果网站使用了 JavaScript 动态加载内容，urllib 可能无法执行 JavaScript，导致无法获取到真正的下载链接。考虑使用带有 JavaScript 渲染功能的库，如 selenium，来模拟浏览器行为。

   from selenium import webdriver
   
   # 创建一个模拟浏览器
   driver = webdriver.Chrome()
   
   # 使用模拟浏览器打开网页
   driver.get(_url_link)
   
   # 获取真正的下载链接
   real_download_link = driver.find_element_by_xpath("your_xpath_expression").get_attribute("href")
   
   # 关闭模拟浏览器
   driver.quit()
   

3. 处理重定向： 有时，网站会通过重定向将你导向其他链接。你可以使用库中的函数来获取最终的重定向链接，然后再进行下载。

   import requests
   
   response = requests.get(_url_link, allow_redirects=False)
   real_download_link = response.headers['Location']
   

请注意，爬取网站内容时，请遵守该网站的使用条款和规定。如果网站有robots.txt文件，请遵循其中的规定。非法的爬取行为可能导致你被封禁或面临法律责任。