Python Ollama API如何实现模型的本地部署与调用？

Question

在使用Python Ollama API实现模型本地部署与调用时，常见的技术问题是如何正确配置Ollama服务并与Python客户端建立连接。具体表现为：当尝试通过`ollama.create_completion()`方法调用模型时，出现“Connection refused”或“Model not found”的错误。这通常是因为Ollama服务未正常启动、模型未正确加载或API地址配置错误。解决方法包括：确保Ollama服务已通过`ollama serve`命令启动，模型已通过`ollama pull`下载并加载，同时检查Python代码中`ollama.api_base`是否指向正确的本地服务地址（如`http://localhost:11434`）。此外，还需确认所调用的模型名称与实际加载的模型一致，避免拼写错误或版本不匹配问题。

Answer 1

1. 常见问题概述

在使用Python Ollama API实现模型本地部署与调用时，开发人员经常会遇到一些技术问题。这些问题主要集中在Ollama服务的配置和客户端连接上。以下是两个最常见的错误：

• "Connection refused": 表示Python客户端无法连接到Ollama服务。
• "Model not found": 表示指定的模型未正确加载或不存在。

这些问题通常源于以下原因：Ollama服务未启动、模型未下载或加载、API地址配置不正确以及模型名称拼写错误。

2. 问题分析

为了解决上述问题，我们需要从以下几个方面进行分析：

1. Ollama服务是否正常运行？
2. 指定的模型是否已正确加载？
3. Python代码中`ollama.api_base`是否指向正确的服务地址？
4. 调用的模型名称是否与实际加载的模型一致？

通过逐步排查这些可能的原因，我们可以定位并解决大多数连接问题。

3. 解决方案

以下是针对常见问题的具体解决方案：

问题	原因	解决方案
"Connection refused"	Ollama服务未启动	确保通过命令`ollama serve`启动服务。
"Model not found"	模型未下载或加载	使用`ollama pull [model_name]`下载并加载模型。
API地址配置错误	`ollama.api_base`指向错误地址	检查Python代码中`ollama.api_base`是否设置为`http://localhost:11434`。
模型名称不匹配	调用的模型名称与实际加载的模型不符	确认模型名称拼写正确且版本匹配。

4. 示例代码

以下是一个完整的Python代码示例，展示如何正确配置Ollama API并调用模型：

import ollama

# 设置API基础地址
ollama.api_base = "http://localhost:11434"

# 调用模型生成文本
response = ollama.create_completion(
    model="llama2",  # 确保模型名称正确
    prompt="Hello, how are you?",
    max_tokens=50
)

print(response)

5. 流程图

以下是解决问题的流程图，帮助您更好地理解整个排查过程：

graph TD; A[开始] --> B{Ollama服务是否启动?}; B --否--> C{启动服务
`ollama serve`}; B --是--> D{模型是否加载?}; D --否--> E{加载模型
`ollama pull`}; D --是--> F{API地址是否正确?}; F --否--> G{修正地址
`ollama.api_base`}; F --是--> H{模型名称是否正确?}; H --否--> I{修正名称}; H --是--> J[完成];