spark官网要求structed streaming 消费kafka要求kafka为0.10版本以上，但是我集群kakfa
是0.8版本的，githup上有个接口，需要maven编译源码后使用，哪位帅哥帮我编译一下，我编译的有问题，源码地址https://github.com/jerryshao/spark-kafka-0-8-sql，编译出来的jar不能太大
spark structed streamig集成kafka0.8版本的问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答
- 2014-05-22 12:09回答 3 已采纳 The package in itself carries no reference to where it is stored. You only have: package mypackag
- 2014-11-24 20:04回答 2 已采纳 In your index() function try this public function index() { $posts = Blog::all(); retu
- 2021-09-03 19:13赵广陆的博客 目录1 Kafka 数据消费2 Kafka 数据源3 Kafka 接收器3.1 配置说明3.2 实时数据ETL架构3.3 模拟基站日志数据3.4 实时...StructuredStreaming很好的集成Kafka，可以从Kafka拉取消息，然后就可以把流数据看做一个DataFram
- 2021-05-09 16:04她與風皆過客的博客 读取kafka数据 // 构建SparkSession实例对象，相关配置进行设置 val spark: SparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName.stripSuffix("$")) .master("local[2]") // 设置...
- 2022-07-06 18:16麻辣灬小笼包的博客 spark structed + kafka +kerberos 踩坑
- 2021-12-10 16:30yujie12963854的博客 需要导入的包有 commons-pool2-2.11.1.jar kafka-clients-2.6.0.jar spark-sql-kafka-0-10_2.12-3.1.2.jar spark-token-provider-kafka-0-10_2.12-3.1.2.jar
- 2019-12-18 11:34cangt的博客 spark structed streaming 两种消费kafka的方式 kafka过来的原消息体 {"gamecode":"abcd","resultguid":"81_18148_184_-1699285363_4","startguid":"81_18148_184_1573391420_4","records":[{"cards":[40],"optype":...
- 2018-04-23 17:19spark Streaming和structed streaming分析，理解整个 Spark Streaming 的模块划分和代码逻辑。
- 2016-01-02 10:19祝威廉的博客 前言Spark Streaming 诞生于2013年，成为Spark平台上流式处理的解决方案，同时也给大家提供除Storm 以外的另一个选择。这篇内容主要介绍Spark Streaming 数据接收流程模块中与Kafka集成相关的功能。
- 2022-03-14 09:16erainm的博客 StructedStreaming消费Kafka数据存储到HDFS中，以前正常存储，突然就存储不进去了，可以新建文件夹，但是数据写入不进去了。 分析：通过流写出到控制台，能消费数据，说明消费正常，但是就是写不进HDFS中，说明写时...
- 2019-03-04 15:07羲凡丞相的博客 @羲凡——只为了更好的活着 SparkStreaming 读取kafka中数据(spark2.3.2) 流处理一般都会涉及到kafka，所以用Spark...${spark.version} 即你的spark的版本，我spark是spark 2.3.2。我kafka是kafka_2.11-0.10.2.2 ...
- 2022-03-08 08:25肉装法师的博客 2 sparkstructedstreaming获取kafka数据 并将数据存储至hudi 本人有大量表名为 document_xxx（document_1，document_2，document_3…） 通过canal将数据存储kafka topic （document） object SSSHudiETL { case ...
- 2019-03-26 21:23露落梨花的博客 <artifactId>spark-sql-kafka-0-10_2.11 <version>2.3.0 <!-- https://mvnrepository.com/artifact/org.codehaus.janino/janino --> <groupId>org.codehaus.janino <artifactId>janino <version>3.0.8 ...
- 2022-07-04 16:32wunanliu的博客 SparkStreaming实时消费Kafka数据，批量写入Mysql数据库，Java版本
- 2021-01-17 22:14九师兄的博客 昨天一网友写了一个spark程序 读取kafka写入kafka，结果数据就是无法写入，然后交给我看看，这个程序是spark stream ,这个东东我都没玩过，我用过spark structured streaming ，然后看了程序之后，几分钟跑通，spark...
- 2021-03-23 13:32麻辣灬小笼包的博客 structed streaming 整合kafka idea本地测试时遇到的问题 代码如下 def main(args: Array[String]): Unit = { val sparksession = SparkSession .builder() .master("local[*]") .appName("demoPro") //....
- 2019-09-26 21:10an7800666的博客 众所周知，Structured Streaming默认支持Kafka 0.10，没有提供针对Kafka 0.8的Connector，但这对高手来说不是事儿，于是有个Hortonworks的邵大牛（前段时间刚荣升Spark Committer）给出了一个开源的第三方解决方案：...
- 2022-07-04 16:08wunanliu的博客 SparkStreaming消费Kafka数据，实时批量插入ElasticSearch，Java版本
- 2022-03-12 21:47一流觞的博客 SparkStreaming 是流式处理框架，是 Spark API 的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume,Twitter, ZeroMQ 或者 TCP sockets，并且可以使用高级功能的复杂算子来...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 有没有可以帮我搞一个微信建群链接，包括群名称和群资料群头像那种，不会让你白忙
- ¥15 stm32开发clion时遇到的编译问题
- ¥15 lna设计 源简并电感型共源放大器
- ¥15 如何用Labview在myRIO上做LCD显示？(语言-开发语言)
- ¥15 Vue3地图和异步函数使用
- ¥15 C++ yoloV5改写遇到的问题
- ¥20 win11修改中文用户名路径
- ¥15 win2012磁盘空间不足,c盘正常，d盘无法写入
- ¥15 用土力学知识进行土坡稳定性分析与挡土墙设计
- ¥70 PlayWright在Java上连接CDP关联本地Chrome启动失败,貌似是Windows端口转发问题