问题遇到的现象和发生背景
1.问题概述
spark 读取parquet格式数据，写入mysql，要求有的字段是json格式，有的字段是int，varchar等， 导入mysql实现效果如下，
2.尝试解决
用tojson这个方法直接把所有的字段都转成json，但是达不到mysql数据库表字段有的数据是自定义类型json，有的是int，varchar的效果，
大家有啥好的办法吗
spark json数据写入mysql数据库问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-01-25 09:53回答 1 已采纳 问题已解决：参考这个=====>https://blog.csdn.net/weixin_43753599/article/details/122697542?spm=1001.2014.300
- 2021-12-07 09:59回答 1 已采纳 你数据库是不是设置主键了，主键不能重复
- 2023-01-17 22:05回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
- 2020-11-30 15:30塞上江南o的博客 读取json package com.xcu.bigdata.spark.core.pg02_io import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * @Package : com.xcu.bigdata.spark.core.pg02_io * @Author ...
- 2017-07-23 09:12回答 2 已采纳 以解决，是分区太大，掩盖了之前的任务
- 2022-01-18 20:31回答 3 已采纳 spark sql中可以使用except来获得两组数据的交集 SELECT * FROM student_1 EXCEPT SELECT * FROM student_2; 你如果是某一行中的某
- 2022-06-23 13:55回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
- 2021-09-05 17:49阳光少年159的博客 Spark 将结果写入MySQL 创建Scala-Maven 工程 导入pom依赖（Flink所有可能用到的依赖） <properties> <scala.version>2.12.10</scala.version> </properties> <repositories> &...
- 2021-07-16 16:19回答 1 已采纳 唯一标识为ID第一个思路为：数据都装入两个map中。key为id value为值。json1为map1，json2为map2。id装为两个数组.json1为数组1，json2为数组2。 新增的 就是j
- 2022-11-29 13:16回答 1 已采纳 1、目前pyspark.sql.types支持的数据类型：NullType、StringType、BinaryType、BooleanType、DateType、TimestampType、Decim
- 2022-12-15 15:54
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存 - 2020-12-23 02:25零悠悠的博客 需求：读取json文件，并将结果写入mysql数据库。1. 读取json文件格式如下：{"name":"Michael"}{"name":"Andy", "age":30}{"name":"Justin", “age":19}可以看出第一行数据缺失age。我们首先定义Person样例类：case ...
- 回答 1 已采纳 参考一下。 https://www.zhihu.com/question/27974418
- 2021-02-28 01:42weixin_39899691的博客 I need to write my spark dataset to oracle database table. I am using dataset write method with append mode. But getting analysis exception,when the spark job was triggered on cluster using spark2-sub...
- 2021-08-23 15:26我在北国不背锅的博客 一般我们使用SparkStreaming消费kafka数据，获取到数据后解析，使用JDBC的方式写入数据库。 以上的方式没什么毛病，但是当我们消费的kafka数据类型比较多样的时候，我们需要对每一类的kafka数据都要解析一遍，才能...
- 没有解决我的问题, 去提问
问题事件
系统已结题
2月5日
已采纳回答
1月28日-
创建了问题
1月25日
悬赏问题
- ¥15 #MATLAB仿真#车辆换道路径规划
- ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
- ¥15 数据可视化Python
- ¥15 要给毕业设计添加扫码登录的功能！！有偿
- ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗？
- ¥15 微信公众号自制会员卡没有收款渠道啊
- ¥100 Jenkins自动化部署—悬赏100元
- ¥15 关于#python#的问题：求帮写python代码
- ¥20 MATLAB画图图形出现上下震荡的线条
- ¥15 关于#windows#的问题：怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘