最新最热精华悬赏待回答 筛选
  • 3

    回答

由于设备条件有限,在调用大模型的时候有一个困惑,就是模型的参数量和我的显存有什么关系,比如使用ollama调用模型时,一个4b的模型要占用多少显存?只能通过实际调用才能知道吗?还是有计算公式?

  • 1

    回答

LLaMA-Factory微调没有报错但是也没有输出。终端输出到这里就直接结束了:[INFO|2025-11-07 12:51:58] llamafactory.model.loader:143 &g

早露9
采纳率50%
  • 2

    回答

num_classes: int = 1000 caption_dim: int = 2048 class_dropout_prob: float = 0.1 model_type: str = 'c

菜鸟研究牲-
采纳率0%
  • 6

1.需要枚举出必要措施,和随机事件2.需要用算法推理出,最近不宕机方案。

衡度人生
采纳率80%
  • 4

    回答

系统为windows11,LLama-Factory依赖正常安装,torch.cuda.is_available()测试结果正常,进入webui中可以与大模型chat,数据集可预览,但点击开始后报错文

回答 孳竹
采纳率0%
  • 5

    回答

问题遇到的现象和发生背景 ollama部署hugging face下载的llama4 GGUF模型时出现问题,ollama create命令可以正常执行,ollama list命令也可以显示该模型已导

  • llama
  • 157
  • 2025-04-12 19:22
  • 4

    回答

Huggingface_Hub下载safetensors模型 huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Di

回答 m0_52339407
采纳率33.3%
  • 4

    回答

为什么向llama-7b-hf模型提问回答是这些?而且一直在重复,提问需要什么模板吗?

  • 5

    回答

在项目中引入HuggingFaceEmbedding from llama_index.embeddings.huggingface import HuggingFaceEmbedding 然后将项

苏渺
采纳率0%
  • 3

    回答

使用指令 CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat \ --model_name_or_path /root/autodl-tmp/swift/l

Sovietlongbow
采纳率80%
  • 3

在autodl算力平台上使用了社区镜像搭建了llamafactory环境,下载完模型llava后执行了如下指令: conda activate llama pip install --upgrade

Sovietlongbow
采纳率80%
  • 5

    回答

问题遇到的现象和发生背景 ollama使用的时候,可以认到gpu卡,但是在使用过程中国,一直在跑cpu,是怎么回事? 操作环境、软件版本等信息 OS 设备名称 computer-i914900 处理

  • 32

    回答

请问各位佬,在使用llama-factory 微调llama3-8B模型,训练的过程中使用train.state.log_history打印训练过程中的loss,我的训练集大小为1000,验证机集大小

m0_61789013
采纳率0%
  • 2

本地跑graphrag用了llama3 70b社区报告为什么一个都读取不了?大家有什么解决方式吗?

AI360labs_atyun
采纳率100%
  • 1

    回答

运行from llama_index.llms.huggingface import HuggingFaceLLM 报错:AttributeError from llama_index.llms.hu

  • 1

    回答

启动llamafactory-cli webui浏览器出现127.0.0.1 已拒绝连接。 这是什么情况,哪位朋友能解答一下

  • 1

本地部署llama3 8B需要电脑多大配置,我这个电脑(如图)能部署多大参数的llama3呀?谢谢

  • llama
  • 8
  • 2024-10-28 17:15
五只大鸭梨
采纳率85.7%
  • 1

    回答

问题遇到的现象和发生背景 1.llama3-8b-Chinese使用带含量的国标文件生成的数据集微调之后,对数字类的问答数据集学习能力不高;2.加载检查点之后,询问答案中带数字的问题,正确率只有33%

  • 1

windows安装llama-factory,报错CUDA environment was not detected.;但是采用nvcc -v检测,有信息 这个是什么问题呀?

路过的夏季
采纳率80%
  • 12

    回答

llama-factory训练完的模型怎么给ollama使用?包括导出和格式转化,安装使用?有知道的嘛,麻烦给一个详细的教程

  • ¥20
  • llama
  • 982
  • 2024-09-19 10:55
路过的夏季
采纳率80%
  • 26

    回答

为什么llama3中文版使用LLaMA-Factory微调之后,选择检查点加载模型,返回的token很短,而且增加提示词和max_token参数调整都不起作用?

M,I,S,S
采纳率0%
  • 12

    回答

首次使用ollama时llama3.1:8b十分流畅,但是重启后llama3.1响应速度极慢十分钟才输出了一个hello

Sweetptato
采纳率0%
  • 1

    回答

安装完Docker,无法打开,通过命令安装Open WebUI报错这是什么原因啊,Hyper-V我也打开了,不过是在安装后打开的 docker run -d -p 3000:8080 --add-ho

ZZZ_er
采纳率0%
  • 1

    回答

#最近买了一张NVIDIA的K80计算卡驱动的CUDA版本最高支持11.4,很多模型都跑不了想请教一下有没有能跑的请具体说明一下模型的名称,最好实测过,谢谢

  • 2

    回答

请问下,我想部署一个个人的模型,我自己已经训练好了,基于llama3+peft,我想找一个在线的平台部署我的私有模型,提供REST API的服务,请问有这样的平台吗,多谢!

  • 15

我正在修改 llama.cpp/examples/server/public 目录下的 index.html 文件,以添加一个用户登录窗口。这个登录窗口将提示用户输入用户名和密码以访问服务器。我希望将

Sean_Zhang__
采纳率100%
  • 4

    回答

运行llama2 70B 需要哪些硬件配置?内存需要多大,CPU和GPU的要求分别是什么?

  • llama
  • 233
  • 2024-05-12 14:42
回答 ginnfan
采纳率25%
  • 3

    回答

如何在本地使用llama2 70B,可以直接用吗,还是必须要部署?

  • llama
  • 4
  • 2024-05-12 14:36
回答 ginnfan
采纳率25%
  • 5

    回答

我写了一个用hf接口进行llama2和llama3模型推理测速的脚本,测试出来结果llama2-7b比llama3-8b要更快,请问大家是怎么样测试的呢?测试结果有没有什么不一样?脚本代码如下,代码是

  • 3

    回答

问题遇到的现象和发生背景 通过text-generation-webui部署Llama2-Chinese-7b-Chat模型时报错,不知道原因,并想知道机型是否支持运行模型: 23:15:09-83