liran9094 2016-06-22 06:12 采纳率: 0%
浏览 735

sparkcontex使用过程未序列化错误

1、streamingcontext 读取kafka数据

2、使用dstram map函数中，拼接查询语句，使用 sparkcontext 通过查询语句进行读取es数据库
问题：会报错提示 task 没有序列化 sparkcontex未序列化 这个应该怎么解决啊

如果在dstream的转换函数中 无法使用sparkcontext ,name怎么通过查询语句查询ES库呢？

  • 写回答

0条回答 默认 最新

    报告相同问题？

    • java序列化问题 ObjectIputStream问题
      2017-05-20 13:04
      回答 2 已采纳 你还是贴代码吧，要看看你怎么写的才好判断是哪里出问题了。贴代码的时候，注意下格式，上传可以直接上传代码的，注意使用代码的样式就可以了。
    • 序列化二叉树 序列化二叉树 c++ c语言
      2021-11-11 23:22
      回答 1 已采纳 /* public class TreeNode { int val = 0; TreeNode left = null; TreeNode right = null;
    • 在Dubbo框架下，使用MybatisPlus。controller中有Querywrapper出现序列化错误 java
      2019-05-01 21:04
      回答 1 已采纳 mybatis-plus 官方已经明确有说wrapper不支持RPC通信。你得加个dao层去处理
    • Spark2.2-Task序列化源码解析
      2017-10-24 15:26
      代码不会写的博客 如有错误请指正 一、前言  Spark在运行应用程序时，会根据RDD的操作，将数据处理流程划分为多个stage进行计算，其中划分stage的依据是数据是否产生shuffle。在同一个stage中，RDD之间的依赖都是窄依赖。一个...
    • rabbitmq序列化和反序列化问题 maven rabbitmq spring boot
      2022-01-11 17:33
      回答 1 已采纳 不是，是受你实体的序列化号影响的，建议提取一个顶级类使用相同的序列化号，或者存的时候用json字符串，就没有序列化的问题了采纳一下
    • C# 序列化对象时反射类型x错误 c#
      2022-02-23 22:27
      回答 1 已采纳 看代码应该没啥问题 可能你的序列化代码有问题 要不你试下Newtonsoft.Json 组件 我试了下是可以正常序列化的
    • 关于序列化，报错没有构造方法 java
      2015-10-10 08:52
      回答 7 已采纳 错误一般是由于要反序列化的类或者它的父类（如：继承了Dictionary类）实现了ISerializable接口而该类没有定义序列化构造函数，这时候只要把序列化构造函数加上去就可以反序列化了。需要注意
    • AI技术栈实践分析
      2019-04-12 14:55
      常耀斌的博客 人工智能是让机器像人一样思考甚至超越人类，而机器学习是实现人工智能的一种方法，它最基本的做法是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。深度学习又是机器学习的一种实现方式，它...
    • Newtonsoft.Json序列化怎么忽略只读 c# json
      2022-08-10 13:52
      回答 1 已采纳 这个功能，目前在net自己的System.Text.Json是已经默认支持的，jsonoption里就有控制 如果是Newton的库，我们需要自己实现他 我写了一个demo sonSerializer
    • 反序列化JSON数字返回错误的值 json
      2019-06-26 08:25
      回答 1 已采纳 The normal way to do this would be with a struct: type myStruct struct { Category string `jso
    • 无法使用的自定义的RedisConfig RedisTemplate序列化 是什么问题 java redis spring 有问必答
      2021-12-22 15:39
      回答 2 已采纳 看样子没啥问题 包扫描那一块没有限制吧？
    • Spark
      2021-11-26 22:56
      跟浩哥学大数据的博客 当序列化数据时，Encoder产生字节码与堆外内存进行交互，能够达到按需访问数据的效果，而不用反序列化整个对象。 三者之间的转换 1、DataFrame/DataSet->RDD val rdd1=testDF.rdd val rdd2=testDS.rdd 2、RDD -> ...
    • java 序列化与解序列化 java
      2015-09-21 12:40
      回答 2 已采纳 transient修饰的属性关闭了它的序列化，所以y=4没有被序列化， 你取出来就像没有被初期化的样子，是0；所以反序列化后结果为8。
    • Spark宝典
      2023-01-01 15:45
      Light Gao的博客 在SparkUI上jobs列表中可以看清楚 闭包理解 关于spark的闭包检查功能，在java中我们使用lambda表达式的时候变量必须是final的，但是却不会检查匿名函数中的类变量是否实现了序列化，这是因为在java中默认是在一个...
    • Spark 笔记
      2021-04-13 15:57
      TIhmAn1W的博客 Spark基于内存进行数据的分析计算,中间过程只要不涉及Shuffle就不会落盘,减少了磁盘IO,所以性能更高。 Spark 内置模块: Spark Core: 封装了RDD的API,实现Spark基本不功能,即任务调度、内存管理、错误恢复、与存储...
    • 没有解决我的问题, 去提问

    悬赏问题

    • ¥100 求数学坐标画圆以及直线的算法
    • ¥100 c语言，请帮蒟蒻写一个题的范例作参考
    • ¥15 名为“Product”的列已属于此 DataTable
    • ¥15 安卓adb backup备份应用数据失败
    • ¥15 eclipse运行项目时遇到的问题
    • ¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
    • ¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
    • ¥15 自己瞎改改，结果现在又运行不了了
    • ¥15 链式存储应该如何解决
    • ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站