马马老师 2020-03-24 21:55 采纳率: 0%
浏览 173

如何使用hadoop，spark等获取网上数据

如何利用hadoop，spark等获取网上数据(例如新冠肺炎的确诊人数)

  • 写回答

1条回答 默认 最新

  • threenewbee 2020-03-24 23:16
    关注

    hadoop，spark不是用来获取网上数据的，你应该用爬虫程序获取
    比如Scrapy、requests、curl、selenium、httpclient这些

    评论

报告相同问题？

  • Hadoop和spark hadoop spark
    2023-03-01 10:46
    回答 2 已采纳 Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享
  • spark和hadoop hadoop spark 大数据
    2022-12-23 16:57
    回答 2 已采纳 集群还在启动吧，还是在安全模式，无法创建文件夹，稍等一会儿集群完全启动成功后就可以了。
  • 推荐系统&spark和hadoop hadoop python spark
    2022-04-22 23:16
    回答 1 已采纳 spark：主要用于海量数据的统计计算，跟做不做大屏没关系，比如进行机器学习。hadoop：主要用到的就是数据的分布式存储，海量的数据和日志，如果想留存，就用它来存储吧。做大屏统计是比较直观的数据结果
  • hadoop&spark使用教程.docx
    2024-07-12 11:49
    ### Hadoop & Spark 使用教程详解 #### Hadoop 使用教程 **一、安装与配置** 1. **下载与安装Hadoop** - 访问官方网站获取最新版本的Hadoop压缩包。 - 解压并安装Hadoop，确保设置正确的`JAVA_HOME`环境变量。 ...
  • MySql MsSql与Hadoop Spark Storm的关系 hadoop mysql spark sql storm
    2018-03-19 22:14
    回答 1 已采纳 参考一下。 https://www.zhihu.com/question/27974418
  • hadoop和大数据、spark的关系该怎么理解？ hadoop spark 大数据
    2022-06-23 13:55
    回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
  • spark hadoop 怎么多人协作开发？ hadoop spark
    2022-06-07 00:40
    回答 3 已采纳 这取决于你需要解决什么问题，如果只是临时跑一下批处理任务用到spark大可local模式跑跑完了，真要构建完整的hadoop生态你这一台云服务器够呛，内存低了甚至跑不起来全部组件
  • Hadoop 和 Spark 流行的大数据处理框架.docx
    2024-07-12 10:34
    - **Spark Streaming**：支持实时数据流处理，可以处理从网络流、消息队列等来源获取的数据。 - **MLlib**：提供了丰富的机器学习算法，支持分类、回归、聚类等多种任务。 - **GraphX**：针对图形数据的处理和分析，...
  • hadoop进行数据分析缺少数据的输出 hadoop 大数据
    2022-07-09 16:18
    回答 1 已采纳 问题解决了，不好提供数据源，是201.42的虚拟机实验Mapperpackage com.mystudy.hadoopPro; import java.io.IOException;import ja
  • 数据挖掘需要学hadoop，spark，flink这些吗。 数据挖掘
    2022-12-19 11:35
    回答 1 已采纳 Python是一种跨平台的计算机程序设计语言，属于面向对象的动态类型语言，python是 人工智能首选的编程语言。而Hadoop，Spark、Flink是目前重要的三大分布式计算系统，Hadoop用于
  • .net可以使用hadoop么？ hadoop 有问必答
    2021-09-07 23:17
    回答 2 已采纳 专业性的得谷歌，e文的参考 Hadoop for .NET Developers My Pluralsight course Hadoop for .NET Develop
  • 项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目
    2024-02-03 20:34
    数据存储与处理：系统利用Hadoop分布式文件系统（HDFS）存储采集到的招聘数据，并使用Hadoop生态圈中的工具（如Hive、HBase等）进行数据处理和管理。Spark作为数据处理引擎，提供高性能的批处理和实时计算能力，对...
  • 大数据框架中的hadoop和hive spark presto tez是什么关系 hadoop hive spark
    2022-12-24 10:29
    回答 1 已采纳 Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS（分布式文件系统）和MapReduce（分布式计算引擎）。Hive是一个基于Hadoop的数据仓库系
  • 【人工智能】Hadoop和Spark使用教程
    2024-07-29 18:32
    大雨淅淅的博客 Hadoop和Spark是大数据处理领域的两个重要工具，它们各自具有独特的功能和优势，经常一起使用以构建高效的数据处理和分析系统。以下是一个关于Hadoop和Spark使用的基本教程，旨在提供从安装、配置到基本应用开发的...
  • 大数据分析与内存计算-Spark安装以及Hadoop操作-实验报告
    2024-04-12 16:57
    通过以上知识点的学习，可以掌握如何在Linux环境下安装配置Hadoop和Spark，熟悉HDFS的基本操作命令，并能利用Spark对本地文件和HDFS文件进行数据处理。这对于从事大数据处理工作的技术人员来说是非常实用的技能。
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 关于stm32hal库驱动ft6336触摸屏遇到的问题
  • ¥15 需要手写数字信号处理Dsp三个简单题 不用太复杂
  • ¥15 数字信号处理考试111
  • ¥100 关于#audobe audition#的问题，如何解决？
  • ¥15 allegro17.2生成bom表是空白的
  • ¥15 请问一下怎么打通CAN通讯
  • ¥20 如何在 rocky9.4 部署 CDH6.3.2？
  • ¥35 navicat将excel中的数据导入mysql出错
  • ¥15 rt-thread线程切换的问题
  • ¥15 高通uboot 打印ubi init err 22