关于chatglm2-6b本地部署问题

Question

我在运行train.sh时有如图所示报错怎么解决（Linux）
，用的是chatglm-6b，tuning文件是GitHub上的，用的路径是

并且没有创建output_dir对应空文件夹

Answer 1

上午好☀️☀️☀️️
本答案参考ChatGPT-3.5

这个问题似乎是在使用ChatGLM进行训练时遇到了错误。

下面是具体的解决步骤：

首先，你需要确保你的环境已经安装了ChatGLM和TensorFlow，并且正确配置了这些库。你可以参考以下链接来获取这些库的完整信息：https://github.com/RajeshLal诙/PyTorch-GraphConv。

1. 使用以下命令安装ChatGLM和TensorFlow：

   pip install chatglm torch torchvision transformers
   

2. 在main.py中导入所需的模块并设置相关参数。

   import torch
   import argparse
   import logging
   import os
   from torch.optim import Adam
   from transformers import ChatGLMForConditionalGeneration, TrainingArguments
   

3. 设置模型参数。在这个例子中，我们想要一个全连接神经网络，输入维度为128，输出维度为64。

   transformer_prefix_encoder.embedding.weight.data.zero_()
   

4. 定义训练参数。这里我们设置了不同的学习率、批次大小、批评估和优化步数。

   learning_rate = 1e-2
   batch_size = 1
   eval_batch_size = 1
   gradient_accumulation_steps = 16
   predict_with_generate = True
   max_steps = 20
   logging_steps = 10
   save_steps = 10
   

5. 定义模型保存目录和主训练循环。

   output_dir = "output/adgen-chatglm-6b-pt-" + PRESEQ_LEN * LR
   training_args = TrainingArguments(
       output_dir,
       overwrite_output_dir=True,
       max_source_length=64,
       max_target_length=64,
       per_device_train_batch_size=batch_size,
       per_device_eval_batch_size=batch_size,
       gradient_accumulation_steps=gradient_accumulation_steps,
       predict_with_generate=predict_with_generate,
       max_steps=max_steps,
       logging_steps=logging_steps,
       save_steps=save_steps,
       num_train_epochs=3,
       weight_decay=0.001,
   )
   

6. 创建聊天GLM模型实例。

   chatglm = ChatGLMForConditionalGeneration.from_pretrained("/home/fwl/exp/model/chatglm-6b")
   

7. 训练模型。

   optimizer = Adam(learning_rate)
   chatglm.train谈判 RecapOverheadLoss(p梯度归一化)
   chatglm.train
   

8. 如果你想要对验证数据进行评估，你可以这样执行：

   chatglm.eval(model=chatglm, args=training_args)
   chatglm.eval()
   

以上就是如何解决ChatGLM训练过程中出现的错误问题的步骤。如果你还有其他问题，欢迎随时向我询问。