2 qq 26101209 qq_26101209 于 2016.04.03 16:14 提问

hadoop中map处理多行数据,可以满足用于算法模型的输入。

在分布式平台做算法研究,遇到一个map处理文件是以行为单位。怎么使map可以
读取多行数据然后可以在map中进行算法模型的训练。

以下是我的尝试:
1:NLineInputFormat 不行,还是单行输出数据。
2:重写 InputFormat函数。 数据集没有具体的切分标志,只能说一个map处理
100或200行数据。没有类似 {} “ ” —— 的切分标志。

1个回答

oyljerry
oyljerry   Ds   Rxr 2016.04.03 22:31

你重写函数后也总要有一个规则来定义你的map处理方法

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!