orcal数据库输出Spark平台经历Sparksql再输出至hive(或者中间经历与其他表的full join操作),在触发Action时,JVM的老年代内存会瞬间膨胀到1G多,甚至接近2G,而用其他数据源,比如hive输入,再full join或者hive输出,就不会出现这样的内存瞬间膨胀的问题(监控中显示只有几十M在老年代里面),请问大神,这是为什么?
orcal库输出到Spark 平台经历SparkSql输出至hive仓库,内存膨胀,求解答?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-08-08 17:40回答 1 已采纳 都可以抽Oracle写Kafka重点是你要怎么做数据抽取，增量变更捕获或者就是全量抽
- 2017-08-29 10:28回答 1 已采纳 declare date v_arg; begin v_arg:=sysdate; select * from tab1 where substr(to_char(time,'YYYY-MM-
- 2017-02-10 10:42回答 2 已采纳 给表起个别名： ``` "select substr(t.字段,0,2) as 新字段, t.* from 表 t " ``` 这样应该就可以了
- 2022-08-26 22:29四月天03的博客 有时候oracle中的数据中会存在换行符（" \n "）然而hive1.1.0中数据换行默认识别的也是\n，最坑的是还不能对它进行修改（目前我没有查出修改的方法，大家要是有办法欢迎在评论区讨论）那我只能对数据进行处理了，...
- 2015-11-08 04:20回答 1 已采纳 你另存为一下，改一下编码类型试一试？
- 2018-02-26 03:25回答 5 已采纳 ORACLE可以借助DECODE函数，自定义顺序排序： SELECT * FROM ( SELECT '数学' AS ITEM FROM DUAL UNION ALL
- 2012-09-27 15:15回答 2 已采纳 你的字段名里面REAL_ 后面有个多余的空格。。。 ALTER TABLE SALES_OPR.T_SALES_GROUP ADD REAL_BUSINESS_TYPE
- 2022-03-10 18:14KANGBboy的博客 object spark_from_mysql_to_hive { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master(“local[*]”).enableHiveSupport() .config(“spark.debug.maxToStri
- 2017-06-05 08:56回答 4 已采纳 Clob clob = rs.getClob("clob字段名"); int i = 0; String detailinfo = ""; if(clob != null){ Inp
- 2020-04-21 11:02回答 2 已采纳 create table Course_SC as select b.Sno,a.Cno,a.Cname,a.Cpno,a.Ccreditb.,Grade from Course a l
- 2012-09-10 17:24回答 5 已采纳 [code="sql"] select id, (select wm_concat(d.userName) username from userdetail d wh
- 2021-08-31 15:40BigData_xgs的博客 1.写入hive的指定分区中写入数据 ResulToOra2.createTempView("tmp") spark.sql( s""" |insert overwrite table pdr.T_PSSC_TRAN_PORTRAIT_CENTER partition(dt='${sdfDay.format(date)}') select * from tmp | ...
- 2017-06-11 05:30回答 2 已采纳 找到原因了，我没有给用户授予dba权限
- 2021-09-01 23:16章鱼哥TuNan&Z的博客 序言：数据从Oracle平台导出为csv格式，上传至hdfs上，在hive上load至临时表，最后insert到目标表，完成数据Oracle中数据迁移到hive平台。（表名及字段等信息属于公司敏感信息，用别的信息代替展示） 1、将数据...
- 2021-04-30 10:35格罗卜的博客 1、配置源和目标的数据连接源(oracle)： 目标(Hive 2.1.1)，需要事先将hive的驱动程序导入HHDI的lib目录中。 Hive2.1.1需要的jar包如下：可根据自身情况更换hadoop和hive的jar包。hadoop-common-2.6.0.jarhive-...
- 2024-02-02 11:11labview连接orcal数据库，研究了一周才终于可以正常使用了，现在分享出来
- 2018-06-06 22:23DBA的思想天空：感悟Orcal书库库本质PDF高清版，适合提升自己的能力
- 2023-07-07 17:20orcal11g客户端 https://blog.csdn.net/wenming111/article/details/131600622
- 2021-01-14 09:38linux orcal客户端11gR2
- 2022-09-20 15:54orcal创建游标并用游标实现数据库多表之间对表的的更新，删除及修改。
- 没有解决我的问题, 去提问
悬赏问题
- ¥30 求解达问题（有红包）
- ¥15 请解包一个pak文件
- ¥15 不同系统编译兼容问题
- ¥100 三相直流充电模块对数字电源芯片在物理上它必须具备哪些功能和性能？
- ¥30 数字电源对DSP芯片的具体要求
- ¥20 antv g6 折线边如何变为钝角
- ¥30 如何在Matlab或Python中 设置饼图的高度
- ¥15 nginx中的CORS策略应该如何配置
- ¥30 信号与系统实验：采样定理分析
- ¥100 我想找人帮我写Python 的股票分析代码，有意请加mathtao