重新编译spark-redshift遇到的问题

由于使用的s3的region是cn-north-1,需要对databrick提供的spark-redshift包进行重新编译
由于源码是sbt进行代码管理的,了解较少,遇到一些问题难以解决
从databricks/spark-redshift: Redshift data source for Apache Spark (github.com)下载源码后进行编译,发现有许多依赖问题无法解决
问题报的

曾参考过Unresolved Dependency: org.spark-packages#sbt-spark-package · Issue #15 · databricks/sbt-spark-package (github.com)这里的解决方案

有加相关仓库配置但仍不生效

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
憧憬blog 2023-03-14 21:14
关注
您好，关于重新编译spark-redshift遇到的问题，根据您提供的情况，建议您尝试以下解决方案：

确认您是否已经将sbt的版本升级为1.3以上，因为根据错误提示，可能是由于sbt版本太低导致的依赖问题。

设置Spark包仓库，根据您提供的参考链接，可以在sbt配置文件中添加以下内容：

```
resolvers += "Spark Packages Repo" at "https://d/
解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

Redshift渲染问题 maya 材质
2023-01-13 11:29

回答 1 已采纳穿插问题可能是由材质贴图透明度和渲染设置的不同导致的。如果材质贴图有透明贴图，那么在渲染时要使用透明渲染方式，这样才能正确地显示透明部分。如果材质贴图没有透明贴图，那么在渲染时使用不透明渲染方式，
从Redshift表中选择时使用Postgres数组进入应用
2018-05-04 12:01

回答 2 已采纳 Redshift supports ANY('{1,2,3}'::integer[]). Reason why db.Query('select * from table where colID
使用Golang对Redshift数据库进行CRUD操作
2017-03-23 22:50

回答 1 已采纳 Please note the side-effect import of github.com/lib/pq After this queries can be run by db.Query
修改源码解决 spark-redshift "String length exceeds DDL length" 问题
2018-03-06 14:14

zhixingheyi_tian的博客 spark-redshift 是由 databricks 公司开发的读写redshift 工具包使用过程中字符串超过256字节就发生写redshift失败错误类似如下java.sql.SQLException: Error (code 1204) while loading data into Redshift: ...
Redshift返回[] uint8而不是整数，在它们之间进行转换将返回不正确的值
2019-03-04 17:44

回答 1 已采纳 I think you might be interpreting a string ([]uint8 == []byte), actually. See https://play.golang.
使用PHP将JS嵌套数组从localStorage保存到MySQL表 javascript mysql php
2018-07-31 08:55

回答 1 已采纳 Try this one and paste output of $annArray $connect = mysqli_connect($hostname, $username, $passw
SQL查询在服务器上完成，但程序永不恢复
2017-11-01 16:04

回答 1 已采纳 You need to alter the keep alive behavior of the library that's managing the Redshift connection.
【Spark ML】第 2 章： Spark和Spark简介
2022-10-23 09:32

Sonhhxg_柒的博客 Spark》的开发是为了解决哈多普的原始数据处理框架MapReduce的局限性。Matei Zaharia看到了MapReduce在加州大学伯克利分校和Facebook（他在那里实习）的局限性，并试图创建一个更快，更通用，多用途的数据处理框架，...
构建具有高可伸缩性的RESTful API [关闭]
2017-04-04 10:55

回答 2 已采纳 It is doable in Go and it is doable in Node. It is doable in other languages like Erlang or Python
docker + golang lib / pq“拨号TCP 127.0.0.1:5432：连接：连接被拒绝” docker kubernetes postgresql
2019-08-28 16:48

回答 1 已采纳 Using the connection string as a URL worked: url := fmt.Sprintf("postgres://%v:%v@%v:%v/%v?ss
需要一个前端js绘制类似sqlflow流程图的js库，给个名字 javascript
2021-10-15 09:23

回答 2 已采纳 jsplumb就能办到，而且比你这个更灵活
一节课轻松通关 Spark
2021-02-27 01:52

爱学大树锯的博客大数据跟我学系列文章007-三节课轻松通关 Spark （一）文章目录大数据跟我学系列文章007-三节课轻松通关 Spark （一）前言第01讲： MapReduce：计算框架和编程模型第02讲：Hadoop：集群的操作系统第03讲：如何设计...
jdbc 执行存储过程成功为何返回为false java oracle
2017-02-19 02:55

回答 2 已采纳是的。就是返回ｆａｌｓｅ。之前我也发现了，记住就行了
数据中台建设方案-基于大数据平台
2023-03-14 16:45

FRDATA1550333的博客 Spark的创新之二是把一系列的分析任务编译成一个由RDD组成的有向无环图，根据数据之间的依赖性把相邻的任务合并，从而减少了大量的中间结果输出，极大减少了磁盘I/O，使得复杂数据分析任务更高效。从这个意义上来说...
HyperLogLog函数在Spark中的高级应用
2020-09-12 22:45

浪尖聊大数据-浪尖的博客近年来，诸如 Apache Spark 的大数据系统以及诸如 Amazon Redshift 的分析型数据库都引入了 distinct count 的近似计算功能——基数估计（cardinality estimation），利用 HyperLogLog（HLL）概率数据结构来实现。...
没有解决我的问题, 去提问

悬赏问题

¥15 YoloV5 第三方库的版本对照问题
¥15 请完成下列相关问题！
¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？
¥15 求daily translation（DT）偏差订正方法的代码
¥15 js调用html页面需要隐藏某个按钮
¥15 ads仿真结果在圆图上是怎么读数的
¥20 Cotex M3的调试和程序执行方式是什么样的？
¥20 java项目连接sqlserver时报ssl相关错误
¥15 一道python难题3
¥15 牛顿斯科特系数表表示

重新编译spark-redshift遇到的问题

1条回答 默认 最新

悬赏问题

1条回答默认最新