2 asdfg48 asdfg48_ 于 2015.05.27 23:11 提问

hadoop map怎么一次读取多行数据(一块数据)而非一行数据?

利用hadoop做数据SVM并行计算,但是想在map任务中将数据分块建立模型再reduce中将分块的
模型合并,但是map每次只能读取一行数据,不能满足数据挖掘中用一整块数据去建模的
原则,请教大家怎么修改map任务逻辑,能一次读取一块数据而非一行数据,谢谢

2个回答

tanggao1314
tanggao1314   2016.05.03 21:53

看这篇博客 里面讲了怎么实现一次读取多行
http://blog.csdn.net/tanggao1314/article/details/51307642

llx1943llx
llx1943llx   2015.05.28 09:14

你需要自定义hadoop的InputFormat,而不是改mapper

asdfg48_
asdfg48_ 您能详细说明下吗,我不知道怎么去自定义该方法
2 年多之前 回复
asdfg48_
asdfg48_ 是重写InputFormatde的方法吗?
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片