Dolly 2.0能用于训练大模型吗？

Question

《在英特尔锐炫™独立显卡运行类ChatGPT的开源大语言模型（LLM) Dolly 2.0》
文章链接：https://blog.csdn.net/gc5r8w07u/article/details/131513624
能用于训练大模型吗？支不支持deepspeed或者fsdp

Answer 1

参考GPT：
ChatGPT是一种由OpenAI训练的大型语言模型。它的原理是基于Transformer架构，通过预训练大量文本数据来学习如何生成人类可读的文本，然后通过接受输入并生成输出来实现对话。

ChatGPT的用途非常广泛，可以用于自然语言处理（NLP）任务，如对话生成、问答系统、文本生成等。

如果你想使用ChatGPT，你可以用它来构建对话机器人，回答问题，生成文本等。它的应用非常广泛，可以用于各种场景，如客服、帮助提供者、教育机构等。