orcal数据库输出Spark平台经历Sparksql再输出至hive(或者中间经历与其他表的full join操作),在触发Action时,JVM的老年代内存会瞬间膨胀到1G多,甚至接近2G,而用其他数据源,比如hive输入,再full join或者hive输出,就不会出现这样的内存瞬间膨胀的问题(监控中显示只有几十M在老年代里面),请问大神,这是为什么?
orcal库输出到Spark 平台经历SparkSql输出至hive仓库,内存膨胀,求解答?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答
- 2022-08-08 17:40回答 1 已采纳 都可以抽Oracle写Kafka重点是你要怎么做数据抽取，增量变更捕获或者就是全量抽
- 2017-08-29 10:28回答 1 已采纳 declare date v_arg; begin v_arg:=sysdate; select * from tab1 where substr(to_char(time,'YYYY-MM-
- 2017-02-10 10:42回答 2 已采纳 给表起个别名： ``` "select substr(t.字段,0,2) as 新字段, t.* from 表 t " ``` 这样应该就可以了
- 2022-08-26 22:29四月天03的博客 有时候oracle中的数据中会存在换行符（" \n "）然而hive1.1.0中数据换行默认识别的也是\n，最坑的是还不能对它进行修改（目前我没有查出修改的方法，大家要是有办法欢迎在评论区讨论）那我只能对数据进行处理了，...
- 2015-11-08 04:20回答 1 已采纳 你另存为一下，改一下编码类型试一试？
- 2018-02-26 03:25回答 5 已采纳 ORACLE可以借助DECODE函数，自定义顺序排序： SELECT * FROM ( SELECT '数学' AS ITEM FROM DUAL UNION ALL
- 2012-09-27 15:15回答 2 已采纳 你的字段名里面REAL_ 后面有个多余的空格。。。 ALTER TABLE SALES_OPR.T_SALES_GROUP ADD REAL_BUSINESS_TYPE
- 2022-03-10 18:14KANGBboy的博客 object spark_from_mysql_to_hive { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master(“local[*]”).enableHiveSupport() .config(“spark.debug.maxToStri
- 2017-06-05 08:56回答 4 已采纳 Clob clob = rs.getClob("clob字段名"); int i = 0; String detailinfo = ""; if(clob != null){ Inp
- 2020-04-21 11:02回答 2 已采纳 create table Course_SC as select b.Sno,a.Cno,a.Cname,a.Cpno,a.Ccreditb.,Grade from Course a l
- 2012-09-10 17:24回答 5 已采纳 [code="sql"] select id, (select wm_concat(d.userName) username from userdetail d wh
- 2021-08-31 15:40BigData_xgs的博客 1.写入hive的指定分区中写入数据 ResulToOra2.createTempView("tmp") spark.sql( s""" |insert overwrite table pdr.T_PSSC_TRAN_PORTRAIT_CENTER partition(dt='${sdfDay.format(date)}') select * from tmp | ...
- 2017-07-27 08:31回答 2 已采纳 insert into FUEL_MATERIAL (MATERIAL_HEAT, MATERIAL_NOT_HEAT, MATERIAL_NUMBER, MATERIAL_ID, MAT
- 2021-09-01 23:16章鱼哥TuNan&Z的博客 序言：数据从Oracle平台导出为csv格式，上传至hdfs上，在hive上load至临时表，最后insert到目标表，完成数据Oracle中数据迁移到hive平台。（表名及字段等信息属于公司敏感信息，用别的信息代替展示） 1、将数据...
- 2021-04-30 10:35格罗卜的博客 1、配置源和目标的数据连接源(oracle)： 目标(Hive 2.1.1)，需要事先将hive的驱动程序导入HHDI的lib目录中。 Hive2.1.1需要的jar包如下：可根据自身情况更换hadoop和hive的jar包。hadoop-common-2.6.0.jarhive-...
- 2024-02-02 11:11labview连接orcal数据库，研究了一周才终于可以正常使用了，现在分享出来
- 2018-06-06 22:23DBA的思想天空：感悟Orcal书库库本质PDF高清版，适合提升自己的能力
- 2023-07-07 17:20orcal11g客户端 https://blog.csdn.net/wenming111/article/details/131600622
- 2021-01-14 09:38linux orcal客户端11gR2
- 2022-09-20 15:54orcal创建游标并用游标实现数据库多表之间对表的的更新，删除及修改。
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 YoloV5 第三方库的版本对照问题
- ¥15 请完成下列相关问题！
- ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？
- ¥15 求daily translation（DT）偏差订正方法的代码
- ¥15 js调用html页面需要隐藏某个按钮
- ¥15 ads仿真结果在圆图上是怎么读数的
- ¥20 Cotex M3的调试和程序执行方式是什么样的？
- ¥20 java项目连接sqlserver时报ssl相关错误
- ¥15 一道python难题3
- ¥15 牛顿斯科特系数表表示