关于#人工智能#的问题：transformers可以部署gguf格式的文件吗

Question

transformers可以部署gguf格式的文件吗，具体如何实施？请问ai业内人士有没有什么经验，比如transformers和llama.cpp哪个更常用？

Answer 1

中午好🌞🌞🌞
本答案参考通义千问

Transformers库本身并不直接支持GGUF（Ggml Quantized Unified Format）格式的文件，因为Transformers主要用于处理Hugging Face模型以及一些标准的模型格式。然而，你可以通过一些额外的步骤来使用GGUF格式的文件。同样地，llama.cpp是一个针对特定模型（如Llama系列模型）进行优化的C++库，它支持GGUF格式。

Transformes 和 GGUF 格式的兼容性

• Transformers 主要支持 .bin, .pt, .safetensors 等格式。
• GGUF 是一种由GGML衍生出来的量化统一文件格式，通常用于轻量级部署和高效推理。

如何使用GGUF格式的文件

如果你想要使用GGUF格式的文件，可能需要先将模型转换为适合Transformers使用的格式，或者使用支持GGUF格式的库如 llama.cpp。

使用llama.cpp

1. 安装llama.cpp：

   git clone https://github.com/ggerganov/llama.cpp.git
   cd llama.cpp
   make
   

2. 加载GGUF格式的模型：

   #include "llama.h"
   
   int main() {
       struct ggml_init_params params = {
           /*.mem_size   =*/ 2048*1024*1024,
           /*.mem_buffer =*/ NULL,
           /*.no_alloc   =*/ false,
       };
   
       struct ggml_context *ctx = ggml_init(params);
       struct ggml_tensor *model = ggml_load_ggu("path/to/model.gguf");
   
       // 继续加载和使用模型
       // ...
   
       ggml_free(ctx);
       return 0;
   }
   

3. 使用模型进行推理：

   // 假设你已经加载了模型
   for (int i = 0; i < num_tokens_to_generate; i++) {
       struct ggml_tensor *output = llama_eval(ctx, model, input_ids, seq_len);
       int next_token = llama_sample_top_p(&rng, output, top_p);
       input_ids[seq_len++] = next_token;
       printf("%c", next_token); // 或者输出到文件
   }
   

Transformes 和 llamas.cpp 的比较

• Transformers：

  • 优点：强大的Python库，易于集成，有丰富的文档和社区支持。
  • 缺点：对于某些硬件可能不是最优的选择，特别是在资源受限的情况下。

• llama.cpp：

  • 优点：针对特定模型进行了优化，支持GGUF格式，可以在没有GPU的情况下运行，适用于资源受限的环境。
  • 缺点：可能不如Transformers那样灵活和易用，特别是对于复杂的应用场景。

总结

如果你需要使用GGUF格式的文件，并且对性能和资源利用有较高要求，那么使用llama.cpp会是一个不错的选择。如果追求易用性和灵活性，Transformers仍然是一个非常好的选择，尽管它不直接支持GGUF格式。