实时数据导入hdfs，怎么样缓解写入压力？

Question

我现在的需求是用flume进行数据源监控和传输，kafka作为中间件作为写入压力缓冲，最后导入hdfs，为后面的大数据分析。刚才问了一个大神，他说kafka和hdfs之间用stream，想问问各位大神怎么设计缓解hdfs写入压力。

Answer 1

flume可以直接接hdfs的，为什么要额外用kafka呢。参考下：
https://www.cnblogs.com/cssdongl/p/6077311.html
http://www.cnblogs.com/cnmenglang/p/6543927.html