vscode debug llama-factory

Question

您好，看到你有关llama-factory的源代码分析博客，非常受教
有个问题想请教您，就是如何用vscode去debug这个项目啊？
我在sft模块打断点，然后使用webui启动项目微调LLM，在输入参数开始微调后，我暂停了所有堆栈中的线程，但是
1.项目根本没在我打断点的地方停顿；

2.项目在我暂停所有线程后，还在继续跑train。

请您赐教

Answer 1

🕒下午好，题主！目前：🟢[在线]
📢参考GPT-4o mini 模型、由清水白石008整理提供！
📣今日金句：“未来属于那些相信自己梦想之美的人。” — 埃莉诺·罗斯福

在 VSCode 中调试 LLM 微调可能需要一些额外的配置。以下是一些可能会帮助您的步骤：

1. 打开 VSCode 并打开 LLM 微调项目的根目录。
2. 在 VSCode 左侧边栏中，单击“调试”图标（一个虫子图标）。
3. 在“调试”视图中，单击“添加配置”按钮（一个 gear 图标），然后选择“Python: 附加进程”。
4. 在生成的 launch.json 文件中，添加以下配置：

   {
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Python: Attach to Process",
            "type": "python",
            "request": "attach",
            "connect": {
                "host": "localhost",
                "port": 5678
            },
            "pathMappings": [
                {
                    "localRoot": "${workspaceFolder}",
                    "remoteRoot": "."
                }
            ]
        }
    ]
   }
   

5. 在上面的配置中，将 port 设置为您用于 LLM 微调的端口号。
6. 在 VSCode 左侧边栏中，单击“调试”视图中的“Play”按钮（一个三角形图标），然后选择“Python: Attach to Process”。
7. 在 LLM 微调控制台中，您应该会看到一条消息，指示已连接到正在运行的 Python 进程。
8. 现在，您可以在 VSCode 中设置断点并运行 LLM 微调。当代码执行到断点时，它应该会在 VSCode 中停止。

请注意，由于 LLM 微调是在多进程环境中运行的，因此您可能需要在多个进程中设置断点。在您的情况下，您可能需要在 sft 模块中设置断点，并在运行 LLM 微调时附加到正确的进程中。

如果您仍然遇到问题，请提供更多上下文和错误消息，我们将继续帮助您解决问题。