Tagetik系统ETL抽数报错

Question

大家有遇到过ETL抽数报错，然后立马重抽却能成功的情况么。而且如果重启了服务就能正常运行个十几天然后又开始一次不好一次好的情况。大概是什么问题啊，而且也不是每个etl都有这个问题。谢谢！

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

问题描述： 有时候在ETL抽数过程中会遇到抽数报错的情况，但是立马重抽就能成功，而且重启服务后能正常工作十几天，但是之后又开始了一次不好一次好的情况。这种情况可能是什么问题导致的，为什么不是每个ETL都会遇到呢？ 解决方案： 这种情况可能是由于服务器负载过高导致的，如果ETL抽数的数据量比较大，且该服务器的资源比较紧张，那么就会发生抽数失败的情况。重启服务能够解决这个问题是因为重启之后服务器的资源得到了释放，能够为ETL抽数提供充足的资源，所以能够正常运行。 但是这种情况不是每个ETL都会遇到，可能是因为不同的ETL在运行时对服务器资源的需求不同，一些运行时需要较大资源的ETL就容易出现这种情况。或者可能是ETL所需要的资源在服务器上被其他进程占用了，导致ETL抽数时无法获得足够的资源。 以下是一段简单的Python代码，通过检查服务器性能数据，定时监控服务器资源使用情况，从而解决该问题。

import psutil
import time
# 设置监控间隔时间（单位：秒）
interval_time = 600
# 设置服务器资源使用率告警阈值（单位：百分比）
cpu_threshold = 80
memory_threshold = 80
def monitor_server_resource():
    while True:
        # 获取CPU使用率百分比
        cpu_usage_percent = psutil.cpu_percent(interval=1)
        # 获取内存使用率百分比
        memory_usage_percent = psutil.virtual_memory().percent
        # 判断CPU使用率是否超过阈值
        if cpu_usage_percent > cpu_threshold:
            print("CPU资源使用率超过阈值，需增加服务器资源")
        # 判断内存使用率是否超过阈值
        if memory_usage_percent > memory_threshold:
            print("内存资源使用率超过阈值，需增加服务器资源")
        # 休眠指定时间
        time.sleep(interval_time)
if __name__ == '__main__':
    monitor_server_resource()

这段代码将定时获取CPU和内存的使用情况，并判断是否超过阈值，如果超过就输出提示信息，建议增加服务器资源，避免出现ETL抽数报错的情况。