不思蜀1123 2016-04-03 08:14 采纳率: 0%
浏览 1471

hadoop中map处理多行数据，可以满足用于算法模型的输入。

在分布式平台做算法研究，遇到一个map处理文件是以行为单位。怎么使map可以
读取多行数据然后可以在map中进行算法模型的训练。

以下是我的尝试：
1：NLineInputFormat 不行，还是单行输出数据。
2：重写 InputFormat函数。 数据集没有具体的切分标志，只能说一个map处理
100或200行数据。没有类似 {} “ ” —— 的切分标志。

  • 写回答

1条回答

  • oyljerry 2016-04-03 14:31
    关注

    你重写函数后也总要有一个规则来定义你的map处理方法

    评论

报告相同问题？

悬赏问题

  • ¥15 matlab实现基于主成分变换的图像融合。
  • ¥15 对于相关问题的求解与代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作
  • ¥15 求NPF226060磁芯的详细资料
  • ¥15 使用R语言marginaleffects包进行边际效应图绘制
  • ¥20 usb设备兼容性问题
  • ¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊