某站现在更新的URL结构，现在要怎么爬-python

Question

不太清楚怎么搞，以前的格式不都是https://www.bilibili.com/video/BV1zN4y1v7Vv?p={i}&vd_source=39337c1f138c59082f588c8cf19d1eb8，现在变成这种加密的，要怎么搞？

Answer 1

该回答引用自GPT-3.5,由博主GISer Liu编写：

针对您提出的问题，首先需要明确目前的情况是要爬取的网站更新了URL结构，导致无法像以前那样直接使用普通的URL进行爬取。针对这种情况，您可以考虑以下解决思路和方案：

解决思路：

1. 分析新的URL结构 ：首先需要仔细分析新的URL结构，了解其中的规律和加密方式。
2. 模拟加密过程 ：根据分析的加密规律，编写程序模拟加密过程，生成正确的URL。
3. 使用网络抓包工具 ：利用网络抓包工具（如Fiddler、Wireshark等），分析网页加载过程中的请求，获取新URL的生成规律。
4. 尝试直接访问 ：有时候新的URL结构可能只是前端展示的加密，实际访问时可能仍然可以直接使用旧的URL结构。

   解决方案：

   根据以上思路，您可以采取以下步骤：
5. 分析新的URL结构 ：使用浏览器开发者工具查看页面元素，寻找新的URL结构。
6. 模拟加密过程 ：根据分析的结果，编写Python程序模拟加密过程，生成正确的URL。
7. 使用网络抓包工具 ：使用网络抓包工具分析网页加载过程，获取新URL的生成规律。
8. 尝试直接访问 ：尝试直接使用旧的URL结构访问页面，查看是否可以正常访问。

   示例代码：

   假设新的URL结构加密方式为Base64，可以使用以下Python代码生成正确的URL：
   pythonCopy code

   import base64
   def generate_new_url(video_id):
   encrypted_id = base64.b64encode(video_id.encode()).decode()
   new_url = f"https://www.example.com/video/{encrypted_id}"
   return new_url
   video_id = "BV1zN4y1v7Vv"
   new_url = generate_new_url(video_id)
   print(new_url)
   

   注意事项：

• 网络数据抓取合法性 ：在进行网络数据抓取时，需遵守网站的使用规定，避免违反法律法规。
• 反爬虫策略 ：有些网站可能设置了反爬虫策略，需要注意避免被封IP或限制访问。
  以上是针对您提出的问题的解决思路和方案，希望能帮助到您解决爬取网站更新URL结构的问题。

如果该回答解决了您的问题，请采纳！如果没有，请私信联系或评论您的疑惑