利用python+BeautifulSoup写了一个爬虫，用来抓http://www.cbooo.cn/paipian 上的数据，可是爬虫返回的页面代码与浏览器中看到的不一致，并没有表格标签。
4条回答 默认 最新
- 2021-10-31 23:19回答 1 已采纳 beautifulsoup是爬静态网页的，应该是有些内容属于动态，可以尝试selenium
- 2022-03-08 22:50回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2023-08-19 14:44我开发了一个强大的Python后端爬虫系统，该系统具备以下主要功能： 网易新闻爬取：系统可以自动爬取网易新闻上的新闻内容，并将其保存到数据库中。用户可以通过系统提供的接口或界面，快速获取最新的新闻信息。 ...
- 2021-08-12 15:40回答 2 已采纳 这是终端显示行数有限制原因，由于输出内容较多，不能全部从头至尾显示出来，最后在终端窗口显示的是最后的数据。如果要获得全部数据，将数据写入csv或txt文档就能全部看到了。
- 2021-11-14 14:52回答 1 已采纳 这样就可以了 import requests import csv r_header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win
- 2021-10-21 15:16回答 1 已采纳 该页面信息通过用户选择选项，js动态渲染加载数据的，比如在选项框中输入name,在XHR中就可以看到name的动态加载链接，对其进行请求可获取相关信息的json数据信息。
- 2023-06-08 21:44坚持不懈的大白的博客 仅仅是小编总结的三点而已，可能不是很全面，如果之后小编了解到新的知识点，可能还会增加的哈！
- 2021-11-27 19:16回答 2 已采纳 该页面数据是动态加载的，需要用此链接用post请求去获取https://www.xuetangx.com/api/v1/lms/get_product_list/?page=1
- 2023-02-27 15:28回答 3 已采纳 ..谢邀。页数有点多，就不跑完测了。报错是list index out of range,如果是在371页报的错，跟最后一页条数不够没啥关系。那首先317页和316页有啥区别？ 是317页就不够40条
- 2022-04-29 11:12回答 1 已采纳 我给你改了一下，你对比看看吧： from bs4 import BeautifulSoup import pandas as pd import requests def crawer_travel
- 2022-04-20 17:30五包辣条！的博客 学习爬虫你完全可以理解为找辣条君借钱（借100万），首先如果想找辣条借钱那首先需要知道我的居住地址，然后想办法去到辣条的所在的（可以走路可以坐车），然后辣条身上的东西比较多，有100万，打火机，烟，手机衣服...
- 2022-03-07 10:02零基础Python爬虫从入门到精通教程[视频课程].txt打包整理.zip
- 2023-11-27 14:30码农必胜客的博客 我相信很多人跟我都有相同的经历：想在网上找点资源，却因为种种原因而得不到。不要急，看完这篇文章，我想你应该知道该怎么做了。有了 Python 爬虫技巧，相信很多平时你想要的资源，它都可以帮你实现。本文我将给...
- 2021-02-10 03:20weixin_39553753的博客 如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物(数据)爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；从技术层面来说就是...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 Python爬取指定微博话题下的内容，保存为txt
- ¥15 vue2登录调用后端接口如何实现
- ¥65 永磁型步进电机PID算法
- ¥15 sqlite 附加（attach database）加密数据库时，返回26是什么原因呢？
- ¥88 找成都本地经验丰富懂小程序开发的技术大咖
- ¥15 如何处理复杂数据表格的除法运算
- ¥15 如何用stc8h1k08的片子做485数据透传的功能？(关键词-串口)
- ¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗？
- ¥15 latex怎么处理论文引理引用参考文献
- ¥15 请教：如何用postman调用本地虚拟机区块链接上的合约？