笨笨熊zzc 2023-08-07 17:32 采纳率: 0%
浏览 3

DATAX多线程调用,结果同时结束了的问题

多线程调用DATAX,执行四个JSON文件,结果四个job同时结束,后台查数据,只有一个job执行结束了,另外3个数据还没同步完就停了,想问下这是什么问题。
#datax

  • 写回答

1条回答 默认 最新

  • CSDN-Ada助手 CSDN-AI 官方账号 2023-08-07 23:49
    关注

    【相关推荐】



    • 这篇博客: 数据同步工具datax中的 3.编写job的json文件 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
      #mysql -> postgresql
      {
          "job": {
              "content": [
                  {
                      "reader": {	
                          "name": "mysqlreader", 			 
                          "parameter": {		
                              "column": ["id","operate_model","operate_type","operate_result","creator","modifier","modify_tm","create_tm","tenant_id"], 
                              "connection": [
                                  {
                                      "jdbcUrl": ["jdbc:mysql://10.1.1.184:3306/nrd_server_dev?allowMultiQueries=true&useUnicode=true&characterEncoding=UTF-8"], 
                                      "table": ["action_log"]
                                  }
                              ], 
                              "password": "root", 
                              "username": "root", 
                              "where": "tenant_id is not null and tenant_id <> 0 and create_tm > \'${startTm}\' and create_tm <= \'${endTm}\' "
                          }
                      }, 
                      "writer": {
                          "name": "postgresqlwriter", 
                          "parameter": {
                              "column": ["id","operate_model","operate_type","operate_result","creator","modifier","modify_tm","create_tm","tenant_id"],
                              "connection": [
                                  {
                                      "jdbcUrl": "jdbc:postgresql://192.168.88.170:5432/datax", 
                                      "table": ["\"model1\".\"action_log\""]
                                  }
                              ], 
                              "password": "123456", 
                              "postSql": [], 
                              "preSql": [], 
                              "username": "postgres"
                          }
                      }
                  }
              ], 
              "setting": {
                  "speed": {
                      "channel": "3" 
                  }
              }
          }
      }
      
      
      #mysql -> mpp
      
      {
          "job": {
              "content": [
                  {
                      "reader": {	
                          "name": "mysqlreader", 			 
                          "parameter": {		
                              "column": ["id","operate_model","operate_type","operate_result","creator","modifier","modify_tm","create_tm","tenant_id"], 
                              "connection": [
                                  {
                                      "jdbcUrl": ["jdbc:mysql://10.1.1.184:3306/nrd_server_dev?allowMultiQueries=true&useUnicode=true&characterEncoding=UTF-8"], 
                                      "table": ["action_log"]
                                  }
                              ], 
                              "password": "root", 
                              "username": "root", 
                              "where": ""
                          }
                      }, 
                      "writer": {
                          "name": "postgresqlwriter", 
                          "parameter": {
                              "column": ["id","operate_model","operate_type","operate_result","creator","modifier","modify_tm","create_tm","tenant_id"],
                              "connection": [
                                  {
                                      "jdbcUrl": "jdbc:postgresql://220.194.43.5:5432/test", 
                                      "table": ["\"datax_test\".\"action_log\""]
                                  }
                              ], 
                              "password": "123456", 
                              "preSql": [], 
                              "postSql": [],     
                              "username": "test"
                          }
                      }
                  }
              ], 
              "setting": {
                  "speed": {
                      "channel": "3" 
                  }
              }
          }
      }
      
      
      
      
      

    如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^
    评论

报告相同问题?

问题事件

  • 创建了问题 8月7日

悬赏问题

  • ¥15 echarts动画效果失效的问题。官网下载的例子。
  • ¥60 许可证msc licensing软件报错显示已有相同版本软件,但是下一步显示无法读取日志目录。
  • ¥15 Attention is all you need 的代码运行
  • ¥15 一个服务器已经有一个系统了如果用usb再装一个系统,原来的系统会被覆盖掉吗
  • ¥15 使用esm_msa1_t12_100M_UR50S蛋白质语言模型进行零样本预测时,终端显示出了sequence handled的进度条,但是并不出结果就自动终止回到命令提示行了是怎么回事:
  • ¥15 前置放大电路与功率放大电路相连放大倍数出现问题
  • ¥30 关于<main>标签页面跳转的问题
  • ¥80 部署运行web自动化项目
  • ¥15 腾讯云如何建立同一个项目中物模型之间的联系
  • ¥30 VMware 云桌面水印如何添加