lisaqq1 2014-03-18 12:20
浏览 1201

mapreduce编程中reduce函数可否使用多线程下载一个网页

想编写一个程序用到mapreduce框架，实现多线程下载网页 不知能否实现，

我的理解是：一个key/value对调用一次reduce函数，对一个网页没有必要用多线程。这里传入的key就是url

  • 写回答

0条回答 默认 最新

    报告相同问题？

    • 多线程并发总结三 函数式编程
      2019-09-22 22:35
      李乐客的博客 所以如果我们改变一下我们写代码所使用的范式，改成函数式，那么多线程的问题也就迎刃而解了。 在函数式的规范下面，我们写出来的函数都是纯函数，函数里面既没有变量也没有对外访问的IO操作。 纯函数在任何的时候...
    • 深入探索MapReduce编程模型
      2024-10-24 23:04
      calmzbnn的博客 通过本文的深入探索，相信读者已经对MapReduce编程模型有了更加全面的了解。从MapReduce的核心概念到工作原理，再到实际应用和优势，本文都进行了详细的介绍和解析。同时，通过示例代码的展示和解析，读者也能够更加...
    • java多个mapreduce_一个简单的MapReduce示例（多个MapReduce任务处理）
      2021-03-01 10:30
      爱吃糖的苏苏雅的博客 一、需求有一个列表，只有两列：id、pro，记录了...为了写一个完整的示例，我使用了多job!二、文件目录|- OutCount //单Job的，本次试验没有使用到，这里写出来供参考|-OutCount2|-OutCountMapper|-OutCountMapper2...
    • 深入解析Hadoop MapReduce中Reduce阶段排序的必要性
      2025-07-25 19:43
      码字的字节的博客 MapReduce作为Hadoop生态系统的核心计算框架，其设计思想源自Google论文，通过"分而治之"的理念实现...MapReduce工作流程解析典型MapReduce作业的执行始于输入数据的分片（InputSplit），每个分片由一个Map任务处理。
    • MongoDB学习笔记之MapReduce使用示例
      2020-09-10 08:38
      在MongoDB中，Reduce函数同样是一个JavaScript函数，它接收一组相同的键值（key, [values]）并返回一个单一的值。在示例中，Reduce函数找到所有相同键（年龄）对应的值（年龄）中的最大值。 ```javascript function...
    • mapreduce 编程模型
      2020-09-05 15:06
      souy_c的博客 MapReduce是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架，它适用的应用场景往往具有一个共同的特点：任务可被分解成相互独立的子问题。基于该特点，MapReduce编程模型给出了其分布式编程方法，共分5...
    • JavaScript mapreduce工作原理简析
      2020-12-13 02:05
      在我们的例子中，Reduce函数遍历所有中间结果，统计每个单词出现的总次数，最后得到一个键表示单词，值表示出现次数的新键值对集合。 编程实践： 理解MapReduce的最佳方式就是通过实践。在提供的JavaScript代码中，...
    • MapReduce基础编程（概念篇）
      2022-11-14 22:00
      Evan2OO1的博客 MapReduce基础编程（概念篇）
    • Spark&MapReduce的区别、多线程&多进程的区别
      2021-01-14 23:30
      栗子呀！的博客 MapReduce的区别、多线程&多进程的区别1.spark与hadoop区别：2.Spark多线程运行， MR多进程运行3.MR存在的问题：4.线程和进程的区别： 1.spark与hadoop区别： 本质:主要看是否进行磁盘的转换 hadoop:因为需要...
    • MapReduce编程规范及示例编写
      2022-10-01 10:19
      悠然予夏的博客 介绍了MapReduce编程规范及示例编写。
    • 没有解决我的问题, 去提问