我需要将客户端的日志文件通过kafka收集后发往hadoop进行统计分析,其中日志文件是一个文件中包括各种类型的日志,我现在不知道kafka收到各个客户端发的日志文件后如何发送到hadoop中,然后hadoop对日志文件中按照日志类型分类,用hive统计分析?
求大神给解决方案.
Kafka如何与hadoop连接?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-01-10 15:46回答 3 已采纳 消费者和生产者与机器无关，这是不同的概念，消费者与生产者只是在Kafka中的角色，不同角色干不同的事情
- 2022-09-01 17:56回答 2 已采纳 似乎是权限问题，你可以看看报错的文件路径权限组看看，使用 ls -l /home/…
- 2017-02-01 18:07回答 2 已采纳 The consumer group is specified by the second argument of the cluster consumer "constructor". Here
- 2024-01-26 18:45flink集群搭建 包括： 1.flink-1.13.1-bin-scala-2.11 2.hadoop连接器jar包flink-shaded-hadoop-2-uber-2.7.5-10.0 3.kafka连接器jar包flink-connector-kafka_2.11-1.13.1
- 2023-02-01 18:21回答 3 已采纳 解决啦 我糊涂忘记让kafka继续分流操作了 取完offset后以为万事大吉了，检查了两个小时才分现
- 2018-07-21 14:46回答 1 已采纳 https://blog.csdn.net/weixin_40137479/article/details/79214312
- 2021-12-29 10:52回答 1 已采纳 可使用gbase> stop kafka consumer kafka_load_testdb_tt1;Query OK, 0 rows affected (Elapsed: 00:00:01.
- 2021-08-17 10:38大数据翻身的博客 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 1.2 jar包下载 http://kafka.apache.org/downloads...
- 2022-09-26 17:35回答 1 已采纳 网上都有相关文章，例如，你可以参考这篇：https://www.bilibili.com/read/cv11773508里面就有涉及到这两个的安全认证配置。
- 2021-12-29 15:08回答 1 已采纳 可使用gbase> create kafka consumer kafka_load_testdb_tt1 loader topic gbase8a brokers '10.0.2.210:9
- 2018-02-01 10:43回答 2 已采纳 你的问题在于如何让一个程序一直在后台运行，还是只是窗口运行， （1）如果要kafka进程一直常驻并且在后台不关闭，启动如下： cd /home/kafka/kafk
- 2022-04-14 20:45panda_225400的博客 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、kafka是什么？...机台报警信息，Recipe的存储放到大数据Hadoop里，Hadoop有高容灾，高扩展等一系列优势，不需要停机就.
- 2023-01-31 14:43回答 2 已采纳 Spark Structured Streaming 集成 Kafka 的 offset 管理方式有如下几种： 利用 Spark checkpoint 文件提交 offset 给 Kafka常用的方案
- 2022-06-25 07:30大数据老司机的博客 Kafka包括五个核心api：Java 客户端接口文档：https://kafka.apache.org/32/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html 非 Java 客户端接口文档：...
- 2022-09-08 11:39码到成龚的博客 Kafka集群的搭建请保证是已经搭建好了zookeeper集群。
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 请教：如何用postman调用本地虚拟机区块链接上的合约？
- ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题：[h264 @ 000000004faf7500]no frame？
- ¥15 乘性高斯噪声在深度学习网络中的应用
- ¥15 运筹学排序问题中的在线排序
- ¥15 关于docker部署flink集成hadoop的yarn，请教个问题 flink启动yarn-session.sh连不上hadoop，这个整了好几天一直不行，求帮忙看一下怎么解决
- ¥15 深度学习根据CNN网络模型，搭建BP模型并训练MNIST数据集
- ¥15 C++ 头文件/宏冲突问题解决
- ¥15 用comsol模拟大气湍流通过底部加热（温度不同）的腔体
- ¥50 安卓adb backup备份子用户应用数据失败
- ¥20 有人能用聚类分析帮我分析一下文本内容嘛