怎么把爬取到的数据放到自己的网页上实现同步数据?再实现数据分析处理
怎么把爬取到的数据放到自己的网页上实现同步数据?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
- gammey 2019-01-28 17:37关注
逻辑上是
1.后端进行爬虫抓取，将数据保存到后端数据库
2.后端实现数据接口，提供数据库的查询功能
3.通过前端js获取后端抓取的数据并进行展示
4.通过AJAX轮训刷新，反复请求查询接口实现实时更新评论 打赏解决 3无用举报 分享
- 2023-04-10 02:32回答 4 已采纳 结论：1、你的url是错误的。至少格式上来就错了。（https://liansai.500.com/zuqiu-6296/jifen-17831/2023-04-10&page=1）；2、col2之后
- 2022-04-18 10:01回答 2 已采纳 1、 清洗你爬取的数据，使其符合数据库中表对数据的规则要求；2、 import pymssql3、 连接你的数据库，执行写入，如下：
- 2021-10-11 13:33回答 2 已采纳 import pandas as pd r = pd.DataFrame(positions, columns=['职位名字', '薪水', '职位诱惑', '职位详情', '工作地址', '公司名
- 2023-06-28 09:12java李杨勇的博客 Python的应用场合非常广泛，在科研领域中，可以用Python训练人工智能模型，也可以对实验数据进行数据分析。在生活中，Python提供了很多优秀的、开源的Web开发框架，例如Django、Flask、Pyramid、Tornado等。知乎、...
- 2021-11-18 23:03回答 2 已采纳 tree =etree.HTML(data)这代码错了，你data=response.json()返回的是json数据，，，如果你确定网页是html代码，应该是data=response.text
- 2022-02-28 22:22回答 1 已采纳 看你想怎么处理了，可以放到一行，可以放到word里，可以用Excel，你选一个，我教你另外你的代码需要看一下，要不不好改
- 2020-09-07 10:20回答 2 已采纳 首先 f12 抓包，看看 ajax 的 json 请求的实际地址是什么，然后用 r = requests.get(request_url) obj = r.json() print(obj.学
- 2020-12-05 10:03菜鸟学Python的博客 我们身边接触最频繁、同时也是最大的爬虫莫过于几大搜索引擎。但是搜索引擎的爬取方式和我们爬虫工程师接触的方式差异比较大，没有太大的参考价值，我们今天要讲的是舆情方向的爬虫（架构以及关键技术...
- 2021-03-07 15:54回答 2 已采纳 两个方法一个 是找到后端接口，直接请求后端接口 另一个是操作selenium点击加载
- 2021-08-01 12:32回答 4 已采纳 将写入文件语句放到循环外，加上列名并逐行写入，后面的代码可以这样写： #code with open('data/51job.csv','w') as f: f.write(','.join(
- 2022-05-12 17:10回答 2 已采纳 因为他是异步加载的。 解决方法：1、一般爬取到的内容和网页上的不一样，可能是请求异常或者是异步加载导致的，需要去定位数据来源。2、打开控制台全局搜索151.4，发现没结果，那么继续搜索1514，发现有
- 2020-12-03 22:00weixin_39756416的博客 但是搜索引擎的爬取方式和我们爬虫工程师接触的方式差异比较大，没有太大的参考价值，我们今天要讲的是舆情方向的爬虫(架构以及关键技术原理)，主要涉及：网页文本智能提取；分布式爬虫；爬虫 DATA/URL 去重；爬虫...
- 2022-03-24 21:35回答 1 已采纳 我这里是可以正常运行的
- 2023-09-25 10:00猫十二懿的博客 数据分析者只需要导入最原始的数据集，输入想要进行分析的目标，就能利用AI自动生成一个符合...只需输入分析目标、原始数据和原始问题，利用AI就能一键生成可视化图表、分析结论和问题解答，大幅降低人工数据分析成本。
- 2024-03-23 08:15景天科技苑的博客 WebSocket的出现，使得浏览器具备了实时双向通信的能力。 本文由浅入深，介绍了WebSocket如何建立连接、交换数据的细节，以及数据帧的格式。...源代码奉上如何建立websocket协议连接，如何通过python爬取ws协议数据。
- 没有解决我的问题, 去提问
悬赏问题
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 对于相关问题的求解与代码
- ¥15 ubuntu子系统密码忘记
- ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
- ¥15 保护模式-系统加载-段寄存器
- ¥15 电脑桌面设定一个区域禁止鼠标操作