如题，我想问要在Hadoop平台上运行的爬虫是否有特殊要求，不管Hadoop是单机的，伪分布式，还是真正的集群，所写的爬虫是否都能在上面运行?
1条回答 默认 最新
- 2021-08-22 22:43回答 3 已采纳 服务器性能不够，或者是配置文件没配置对。
- 2022-04-20 08:36回答 3 已采纳 排查方向：1、检查host文件，看IP地址跟主机名对应关系2、检查防火墙，需要关闭3、在这一步，即使你做了ssh免密登录，排查方向还是在ssh这里，主要是检查node23节点有没有把公钥传输到你的ma
- 2022-12-19 16:44回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
- 2023-12-16 23:04web 网站爬虫系统 基于 Hadoop+源代码+文档说明 -------- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用...
- 2022-06-23 13:55回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
- 2022-01-11 16:20回答 1 已采纳 当然可以，伪分布式等同于完全分布式，只有一个节点，完全分布式相对于伪分布式是具有多个节点，至于本地使用你直接使用grep的命令即可呀 语法：grep 关键字 文件 //显示包含关键字的行 g
- 2021-07-27 18:50回答 2 已采纳 可参考：https://blog.csdn.net/wk51920/article/details/51698042https://stackoverflow.com/questions/145540
- 2020-12-01 14:53只是甲的博客 一.Hadoop概述 1.1 Hadoop简要概述 我们生活在这个数据大爆炸的时代 ，很难估算全球电子设备中存储的数据总共有多少 。当前一个中小型公司的数据量也达到数十TB，甚至更多。 有句话说得好 ：“ 大数据胜于好算法 。...
- 2021-11-28 16:10回答 1 已采纳 仔细检查一下这些情况jdk的环境变量是否配置好了，jdk的版本一般使用1.8不要太高hadoop标签里面含有空格，单词拼写错误hadoop配置文件是否存在中文注释hdfs进程是否开启
- 2022-06-18 15:45回答 1 已采纳 你第一个图是HDFS目录，第二个是服务器磁盘目录。你上传文件是到服务器磁盘，直接拖进去就行上传都HDFS要要服务器磁盘上用Hadoop fs -put 磁盘文件 HDFS目录 来上传文件
- 2017-09-09 08:20回答 1 已采纳 http://blog.csdn.net/crazyzhb2012/article/details/9258247
- 2019-12-25 10:35qunqun8889的博客 Hadoop与Google一样，都是小孩命名的，是一个虚构的名字，没有特别的含义。从计算机专业的角度看，Hadoop是一个分布式系统基础架构，由Apache基金会开发。Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、...
- 2022-04-17 15:49回答 1 已采纳 分析好的数据在存到mysql里呀
- 2022-11-22 00:58派大星子fff的博客 大数据Hadoop集群之HBase搭建
- 2023-05-28 19:20东汉时的博客 上一篇我搭建完成了Linux系统以及配置，本篇文章进行我的项目回顾和Hadoop环境准备什么是网站日志？网站，或者说web服务器在运行过程中如果有用户访问了我们的服务器，它会把信息以文本形式自动记录下来，这个文件...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？
- ¥15 求daily translation（DT）偏差订正方法的代码
- ¥15 js调用html页面需要隐藏某个按钮
- ¥15 ads仿真结果在圆图上是怎么读数的
- ¥20 Cotex M3的调试和程序执行方式是什么样的？
- ¥20 java项目连接sqlserver时报ssl相关错误
- ¥15 一道python难题3
- ¥15 牛顿斯科特系数表表示
- ¥15 arduino 步进电机
- ¥20 程序进入HardFault_Handler