爬虫，爬取一个网页获取到了网页的链接，如何再接着爬取链接的内容
就是我先爬取到豆瓣电影top250里面的数据，然后我想再接着爬取电影详情页的内容
爬虫，爬取一个网页获取到了网页的链接，如何再接着爬取链接的内容
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
winx96 2023-07-05 16:26关注你把前250电影的ID存储起来，然后去请求对应的详情URL来获取。
比如 前三名的ID分别是：1292052、1291546、1292720
所以详情页URL是：
https://movie.douban.com/subject/1292052/
https://movie.douban.com/subject/1291546/
https://movie.douban.com/subject/1292720/本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2022-08-12 12:20回答 3 已采纳 不如换用requests库和bs4库吧。 from bs4 import BeautifulSoup as bs import requests as r url = 'https://fanqie
- 2011-05-09 16:57回答 1 已采纳 JAVA 操作 ACCESS.... 还是说你用的什么开发语言... [code="java"]//先连接好数据源，假设连接成功并取名为users，无密码和用户名 //下简单的对数据库中us
- 2021-11-20 07:20回答 3 已采纳 爬取的是福建省最近20年（2001-2020）的“年末常住人口（单位：万人）”的数据网站：https://data.stats.gov.cn/easyquery.htm?cn=E0103 import
- 2022-09-24 22:34总的来说，这个Java爬虫项目专注于获取网页上的所有链接，对于初学者而言，这是一个很好的学习资源，能够帮助理解网络爬虫的工作原理和基本实现。通过深入研究和修改这个"Robot"类，可以扩展其功能，比如添加多线程...
- 2021-11-29 17:50回答 2 已采纳 method默认为xml，设置为html就行了 etree.tostring(h2, encoding="utf-8", method='html')
- 2017-09-11 03:49回答 1 已采纳 The first for loop schedules multiple goroutines to run and is iterating over a slice of urls. Th
- 2021-12-15 22:43回答 1 已采纳 get_product()函数里的xpath语法全都有问题啊1、//*后面不能有div了，直接接属性及属性值了2、说实话你第一句//*div[@class="items"]/div[@class="i
- 2020-09-24 10:46当爬取网页数据时，首先需要使用requests库发送GET请求到目标网页的URL，然后获取返回的状态码、响应内容等。获取到的数据可以通过BeautifulSoup库进行解析，提取出所需的具体HTML标签内容。例如，可以定位到特定的...
- 2021-10-18 19:27回答 6 已采纳 大概的学习路线可以参考这篇文章 爬虫逆向学习进阶路线_李玺-CSDN博客_爬虫进阶路线 大数据时代下，爬虫技术逐渐成为一套完整的系统性工程
- 2022-08-12 15:33回答 2 已采纳 bs考虑到一个文档可能有很多个相同的标签，采用下标访问解决方法： gettitle = soup.select("#main>#main_left>.book-mulu a")[0].ge
- 2022-08-11 16:59回答 1 已采纳 soup.select("#main>#main_left>.book-mulu a")返回的是一个列表, 要加[0]访问列表的第一元素的.text另外.book-mulu 不是#main
- 2022-03-25 14:17Python爬虫技术是数据获取的重要工具，特别是在网络信息丰富的今天，爬取CNNNews等网站的带视频新闻可以为我们提供...通过实施这样一个项目，开发者不仅能提升编程技能，还能深入理解Web页面结构和网络数据的获取过程。
- 2021-12-16 20:07回答 2 已采纳 是text的问题，因为获取的内容是隐藏元素的文本，不能直接.text进行获取 from selenium import webdriver driver = webdriver.Chrome()
- 2020-08-26 09:57在本文中，我们将讨论如何使用易语言来爬取网页内容，这是一个基础的网络爬虫技术，适用于那些想要从网页中提取特定信息的初学者。 首先，我们需要创建一个基本的易语言程序。打开易语言开发环境，新建一个Windows...
- 2024-03-15 12:43Python多线程爬虫爬取电影天堂资源是一个实用且具有挑战的项目。以下是对该项目的详细说明: 1. 项目概述: 该项目旨在使用Python编写一个多线程爬虫程序,从电影天堂网站上爬取电影资源信息,包括电影名称、年份、类型...
- 没有解决我的问题, 去提问
问题事件
系统已结题
7月26日
已采纳回答
7月18日-
创建了问题
7月5日
悬赏问题
- ¥15 部分客户订单定位有误的问题
- ¥15 如何在maya程序中利用python编写领子和褶裥的模型的方法
- ¥15 Linux权限管理相关操作（求解答）
- ¥15 Bug traq 数据包 大概什么价
- ¥15 在anaconda上pytorch和paddle paddle下载报错
- ¥25 自动填写QQ腾讯文档收集表
- ¥15 DbVisualizer Pro 12.0.7 sql commander光标错位 显示位置与实际不符
- ¥15 android 打包报错
- ¥15 关于stm32的问题
- ¥15 ncode振动疲劳分析中，noisefloor如何影响PSD函数？