woaiyibao 2019-04-26 16:05 采纳率: 64.3%
浏览 1718
已采纳

python爬虫 爬虫的网站源码不齐全怎么办

http://192.168.101.213:7027/swagger-ui.html#/26631209343164929702

用f12打开看到的源码
和用beautifulsoup get到的源码不一样 没法进行爬取

  • 写回答

1条回答

  • 502203305 2019-04-26 16:15
    关注

    现在都是动态网页,你爬取到的只是一个基本框架而已。
    你可以用f12 然后检测一下http请求，基本上获取到的都是第一个请求。
    后面的数据都是通过js修改后的网页。
    交互式的。所以要想做复杂爬虫，还得了解web，js，css，xpath，还有http等等。
    最开始还是找一些静态网页做实验吧。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • python爬虫 爬虫的网站源码不齐全怎么办 python
    2019-04-26 16:05
    回答 1 已采纳 现在都是动态网页,你爬取到的只是一个基本框架而已。 你可以用f12 然后检测一下http请求，基本上获取到的都是第一个请求。 后面的数据都是通过js修改后的网页。 交互式的。所以要想做复杂爬虫，
  • Python爬虫只解析了一部分网页？ python 爬虫
    2021-11-19 14:39
    回答 1 已采纳 第一个问题，你用html.xpath('//div[@class="co_content8"]/ul/table')找不到，是因为在table那一类，有很多分支标签，所以定位不到具体的元素。第二个问题
  • Python爬虫requests.get方法无法显示div中折叠内容 https python 有问必答 爬虫
    2021-11-27 19:16
    回答 2 已采纳 该页面数据是动态加载的，需要用此链接用post请求去获取https://www.xuetangx.com/api/v1/lms/get_product_list/?page=1
  • 基于python爬虫学习项目源码.zip
    2023-09-23 17:51
    基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习...
  • 写完python爬虫后运行不出结果 python 有问必答 爬虫
    2022-02-15 05:15
    回答 3 已采纳 数据是动态从接口获取的，在网页中没有办法直接获取，除非用 selenium模块结合浏览器爬取动态数据 # -*- coding:utf-8 -*- import pandas as pd impor
  • python爬虫爬取网页代码遇到了一些问题 python 爬虫
    2022-08-17 17:07
    回答 3 已采纳 因为元素里的你要的内容是通过 ajax 请求动态加载的，可以浏览器抓包去看下，你想要的这条数据到底是哪个请求返回的，找到真正的请求，然后模拟发送就行了
  • python爬虫无有效内容 python 爬虫
    2023-02-20 09:04
    回答 3 已采纳 有用请采纳get()返回的resq你得看看encoding是不是UTF-8的编码，如果不是得重新设置。
  • python爬虫代码源码.rar
    2023-02-25 12:42
    python爬虫程序可用于收集数据。这也是最直接和最常用的方法。由于爬虫程序是一个程序，程序运行得非常快，不会因为重复的事情而感到疲倦，因此使用爬虫程序获取大量数据变得非常简单和快速。 由于99%以上的网站是...
  • python爬虫没有结果返回 python 爬虫
    2023-03-10 15:16
    回答 4 已采纳 import requests from lxml import etree import pandas as pd url = 'https://www.jjwxc.net/topten.php
  • python爬虫爬到中间报错 python selenium 爬虫
    2023-02-27 15:28
    回答 3 已采纳 ..谢邀。页数有点多，就不跑完测了。报错是list index out of range,如果是在371页报的错，跟最后一页条数不够没啥关系。那首先317页和316页有啥区别？ 是317页就不够40条
  • Python爬虫requests反还内容与网页内容不相同 python 有问必答
    2022-03-08 22:50
    回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
  • 电影天堂上的Python爬虫源码.zip
    2023-08-26 10:49
    电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python...
  • Python爬虫学习疑问 python 爬虫
    2022-06-17 19:05
    回答 4 已采纳 import requests url = 'https://movie.douban.com/top250' headers = { 'User-Agent':'Mozilla/5.0 (Win
  • Python爬虫实现百度翻译源码
    2024-04-16 20:44
    在网站文件中找到隐藏的免费api。传入api所需要的参数并对其发出请求，在返回的json结果里找到相应的翻译结果。设置好源语言和目标语言，进而实现百度翻译。
  • python爬虫爬取58同城信息源码
    2023-10-09 11:05
    内容为Python编写的爬取58同城同城信息转让信息爬取的示例
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥20 求用stm32f103c6t6在lcd1206上显示Door is open和password：
  • ¥15 apm2.8飞控罗盘bad health，加速度计校准失败
  • ¥15 求解O-S方程的特征值问题给出边界层布拉休斯平行流的中性曲线
  • ¥15 谁有desed数据集呀
  • ¥20 手写数字识别运行c仿真时，程序报错错误代码sim211-100
  • ¥15 关于#hadoop#的问题
  • ¥15 (标签-Python|关键词-socket)
  • ¥15 keil里为什么main.c定义的函数在it.c调用不了
  • ¥50 切换TabTip键盘的输入法
  • ¥15 可否在不同线程中调用封装数据库操作的类