重新编译spark-redshift遇到的问题

由于使用的s3的region是cn-north-1,需要对databrick提供的spark-redshift包进行重新编译
由于源码是sbt进行代码管理的,了解较少,遇到一些问题难以解决
从databricks/spark-redshift: Redshift data source for Apache Spark (github.com)下载源码后进行编译,发现有许多依赖问题无法解决
问题报的

曾参考过Unresolved Dependency: org.spark-packages#sbt-spark-package · Issue #15 · databricks/sbt-spark-package (github.com)这里的解决方案

有加相关仓库配置但仍不生效

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
憧憬blog 2023-03-14 21:14
关注
您好，关于重新编译spark-redshift遇到的问题，根据您提供的情况，建议您尝试以下解决方案：

确认您是否已经将sbt的版本升级为1.3以上，因为根据错误提示，可能是由于sbt版本太低导致的依赖问题。

设置Spark包仓库，根据您提供的参考链接，可以在sbt配置文件中添加以下内容：

```
resolvers += "Spark Packages Repo" at "https://d/
解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

Redshift渲染问题 maya 材质
2023-01-13 11:29

回答 1 已采纳穿插问题可能是由材质贴图透明度和渲染设置的不同导致的。如果材质贴图有透明贴图，那么在渲染时要使用透明渲染方式，这样才能正确地显示透明部分。如果材质贴图没有透明贴图，那么在渲染时使用不透明渲染方式，
从Redshift表中选择时使用Postgres数组进入应用
2018-05-04 12:01

回答 2 已采纳 Redshift supports ANY('{1,2,3}'::integer[]). Reason why db.Query('select * from table where colID
使用Golang对Redshift数据库进行CRUD操作
2017-03-23 22:50

回答 1 已采纳 Please note the side-effect import of github.com/lib/pq After this queries can be run by db.Query
修改源码解决 spark-redshift "String length exceeds DDL length" 问题
2018-03-06 14:14

zhixingheyi_tian的博客 spark-redshift 是由 databricks 公司开发的读写redshift 工具包使用过程中字符串超过256字节就发生写redshift失败错误类似如下java.sql.SQLException: Error (code 1204) while loading data into Redshift: ...
Redshift返回[] uint8而不是整数，在它们之间进行转换将返回不正确的值
2019-03-04 17:44

回答 1 已采纳 I think you might be interpreting a string ([]uint8 == []byte), actually. See https://play.golang.
使用PHP将JS嵌套数组从localStorage保存到MySQL表 javascript mysql php
2018-07-31 08:55

回答 1 已采纳 Try this one and paste output of $annArray $connect = mysqli_connect($hostname, $username, $passw
SQL查询在服务器上完成，但程序永不恢复
2017-11-01 16:04

回答 1 已采纳 You need to alter the keep alive behavior of the library that's managing the Redshift connection.
【Spark ML】第 2 章： Spark和Spark简介
2022-10-23 09:32

Sonhhxg_柒的博客 Spark》的开发是为了解决哈多普的原始数据处理框架MapReduce的局限性。Matei Zaharia看到了MapReduce在加州大学伯克利分校和Facebook（他在那里实习）的局限性，并试图创建一个更快，更通用，多用途的数据处理框架，...
构建具有高可伸缩性的RESTful API [关闭]
2017-04-04 10:55

回答 2 已采纳 It is doable in Go and it is doable in Node. It is doable in other languages like Erlang or Python
docker + golang lib / pq“拨号TCP 127.0.0.1:5432：连接：连接被拒绝” docker kubernetes postgresql
2019-08-28 16:48

回答 1 已采纳 Using the connection string as a URL worked: url := fmt.Sprintf("postgres://%v:%v@%v:%v/%v?ss
需要一个前端js绘制类似sqlflow流程图的js库，给个名字 javascript
2021-10-15 09:23

回答 2 已采纳 jsplumb就能办到，而且比你这个更灵活
【付费】Ambari集成Dolphin实战-000-源码下载与编译——下
2024-10-22 01:06

TTBIGDATA的博客在编译的过程中，我们通过官方的页面下载了源码包。具体步骤如下：我们访问了DolphinScheduler Releases 页面，并下载了v3.2.2将源码包下载到本地后...首次编译中遇到的格式检查问题，可以通过快速解决。编译加速技巧。
jdbc 执行存储过程成功为何返回为false java oracle
2017-02-19 02:55

回答 2 已采纳是的。就是返回ｆａｌｓｅ。之前我也发现了，记住就行了
openmetadata本地编译环境搭建
2024-08-06 16:34

龍尐的博客 openmetadata本地编译环境搭建本地环境： Docker 20 or higher Java JDK 17 Antlr 4.9.2 - sudo make install_antlr_cli JQ - brew install jq (osx) apt-get install jq (Ubuntu) Maven 3.5.x or higher - (with ...
一节课轻松通关 Spark
2021-02-27 01:52

爱学大树锯的博客大数据跟我学系列文章007-三节课轻松通关 Spark （一）文章目录大数据跟我学系列文章007-三节课轻松通关 Spark （一）前言第01讲： MapReduce：计算框架和编程模型第02讲：Hadoop：集群的操作系统第03讲：如何设计...
没有解决我的问题, 去提问

悬赏问题

¥30 STM32 INMP441无法读取数据
¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
¥15 用visualstudio2022创建vue项目后无法启动
¥15 x趋于0时tanx-sinx极限可以拆开算吗
¥500 把面具戴到人脸上，请大家贡献智慧
¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面，不要作在线的，要离线状态。
¥15 各位帮我看看如何写代码，打出来的图形要和如下图呈现的一样，急
¥30 c#打开word开启修订并实时显示批注
¥15 如何解决ldsc的这条报错/index error
¥15 VS2022+WDK驱动开发环境

重新编译spark-redshift遇到的问题

1条回答 默认 最新

悬赏问题

1条回答默认最新