Hyno11 2022-04-08 17:24 采纳率: 57.1%
浏览 53
已结题

Flink on Yarn -- Session-cluster模式

问题遇到的现象和发生背景

Session-cluster模式能够正常 RUNNING
但是提交任务总是失败

问题相关代码,请勿粘贴截图

[hadoop@master ~]$ yarn-session.sh -n 1 -s 2 -jm 1024 -tm 1024 -nm session-cluster -d

[hadoop@master ~]$ flink run -c com.dylan.wc.StreamWordCount -p 1 /usr/local/src/flink/examples/batch/WordCount.jar
这里报错

运行结果及报错内容
2022-04-08 17:16:01,801 INFO  org.apache.flink.yarn.cli.FlinkYarnSessionCli                 - Found Yarn properties file under /tmp/.yarn-properties-hadoop.
2022-04-08 17:16:01,801 INFO  org.apache.flink.yarn.cli.FlinkYarnSessionCli                 - Found Yarn properties file under /tmp/.yarn-properties-hadoop.

------------------------------------------------------------
 The program finished with the following exception:

org.apache.flink.client.program.ProgramInvocationException: The program's entry point class 'com.dylan.wc.StreamWordCount' was not found in the jar file.
        at org.apache.flink.client.program.PackagedProgram.loadMainClass(PackagedProgram.java:422)
        at org.apache.flink.client.program.PackagedProgram.<init>(PackagedProgram.java:146)
        at org.apache.flink.client.program.PackagedProgram.<init>(PackagedProgram.java:68)
        at org.apache.flink.client.program.PackagedProgram$Builder.build(PackagedProgram.java:590)
        at org.apache.flink.client.cli.CliFrontend.buildProgram(CliFrontend.java:705)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:200)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1754)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: java.lang.ClassNotFoundException: com.dylan.wc.StreamWordCount
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at org.apache.flink.util.ChildFirstClassLoader.loadClass(ChildFirstClassLoader.java:69)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:348)
        at org.apache.flink.client.program.PackagedProgram.loadMainClass(PackagedProgram.java:420)
        ... 12 more


我的解答思路和尝试过的方法

img

img

我想要达到的结果

Session-cluster模式下提交任务

  • 写回答

1条回答 默认 最新

  • Tomshidi 2022-04-08 17:30
    关注

    检查com.dylan.wc.StreamWordCount这个类路径是否正确

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 4月17日
  • 已采纳回答 4月9日
  • 创建了问题 4月8日

悬赏问题

  • ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
  • ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
  • ¥16 mybatis的代理对象无法通过@Autowired装填
  • ¥15 可见光定位matlab仿真
  • ¥15 arduino 四自由度机械臂
  • ¥15 wordpress 产品图片 GIF 没法显示
  • ¥15 求三国群英传pl国战时间的修改方法
  • ¥15 matlab代码代写,需写出详细代码,代价私
  • ¥15 ROS系统搭建请教(跨境电商用途)
  • ¥15 AIC3204的示例代码有吗,想用AIC3204测量血氧,找不到相关的代码。