不思蜀1123 2016-04-03 08:14 采纳率: 0%
浏览 1471

hadoop中map处理多行数据，可以满足用于算法模型的输入。

在分布式平台做算法研究，遇到一个map处理文件是以行为单位。怎么使map可以
读取多行数据然后可以在map中进行算法模型的训练。

以下是我的尝试：
1：NLineInputFormat 不行，还是单行输出数据。
2：重写 InputFormat函数。 数据集没有具体的切分标志，只能说一个map处理
100或200行数据。没有类似 {} “ ” —— 的切分标志。

  • 写回答

1条回答 默认 最新

  • oyljerry 2016-04-03 14:31
    关注

    你重写函数后也总要有一个规则来定义你的map处理方法

    评论

报告相同问题？

悬赏问题

  • ¥15 如何让企业微信机器人实现消息汇总整合
  • ¥50 关于#ui#的问题：做yolov8的ui界面出现的问题
  • ¥15 如何用Python爬取各高校教师公开的教育和工作经历
  • ¥15 TLE9879QXA40 电机驱动
  • ¥20 对于工程问题的非线性数学模型进行线性化
  • ¥15 Mirare PLUS 进行密钥认证？（详解）
  • ¥15 物体双站RCS和其组成阵列后的双站RCS关系验证
  • ¥20 想用ollama做一个自己的AI数据库
  • ¥15 关于qualoth编辑及缝合服装领子的问题解决方案探寻
  • ¥15 请问怎么才能复现这样的图呀