Dafer0818 2022-01-07 11:16 采纳率: 0%
浏览 168

本地执行成功的py脚本,在azkaban调度报错“ImportError:No module named pymysql”

运行环境:

Linux:centos7.5
CDH-6.3.0(cdh自带python2版本)
anaconda3
python3.8
pymysql-1.0.2
spark-2.4.0
kylin-2.6.3
azkaban-3.90.0

问题相关代码
#!/usr/bin/python3
# -*- coding: utf-8 -*-

import pymysql
import pyspark
from pyspark.sql import SparkSession
import time
import os
from pyspark.sql import functions as funs
from pyspark.sql.types import StringType, MapType



"""
-----------------------------------------------------------------------
    File Name:  XXXXX
    Description:成都市XXXXkylin模型分析
    Autior:     XXX
    Date:       2022/01/05
    comments:   
-----------------------------------------------------------------------
    Change Activity:
-----------------------------------------------------------------------
"""


""" ****************** 一、连接MySQL数据库、插入统计日志表:开始执行 ****************** """

# 注意:端口号port类型为int,不加引号!
db = pymysql.connect(host = '80.2.XX.XX',
                     port = 3306,
                     user = 'root',
                     password = 'XXXXXX',
                     db = 'XXXX',
                     charset = 'utf8')

# 使用cursor()方法,创建一个游标对象 cursor
cursor = db.cursor()

# 定义任务名称、描述:
task_name = 'kylin_XXXX.py'
task_desc = '成都市XXX模型分析'
# 写入日志表:开始执行
# 定义开始执行sql:
sql1 = """
        INSERT INTO tj_log
          (task_name, task_desc, begin_time, bz)
        VALUES
          ('""" + task_name + """',
           '""" + task_desc + """',
           current_timestamp(),
           '开始执行')
"""
# 使用execute()方法执行SQL查询:
cursor.execute(sql1)
# 提交:
db.commit()
运行结果及报错内容

在Linux本地正常执行的.py脚本,放到azkaban定时调度报错:ImportError:No module named pymysql。

我的解答思路和尝试过的方法

1、检查安装模块 conda list,pymysql已经安装,版本 pymysql -1.0.2。
2、而且多次在本地运行脚本,状态是成功。
3、分析有可能的导致报错的地方:安装的python有多个版本,除了常用的python3,还有系统自带的python2、python2.7。由于是生产环境,如果不确定是这个问题,不能随意做改动。

我想要达到的结果

请大家指点下,是什么原因导致的报错呢?

  • 写回答

1条回答 默认 最新

  • 小僵尸打字员 2022-01-07 11:36
    关注

    确定下你定时任务执行的时候是在conda环境下吗? 在定时任务里面先启动conda环境在用绝对路径的python去执行命令

    评论

报告相同问题?

问题事件

  • 创建了问题 1月7日

悬赏问题

  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥15 stable diffusion
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题:求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿