以下内容为github页面中的翻译内容，可能有部分出入，请以最终的实践结果为准！！！
Ollama API 文档接口：
生成文本补全
POST /api/generate生成对话补全
POST /api/chat创建模型
POST /api/create列出本地模型
GET /api/tags显示模型信息
POST /api/show复制模型
POST /api/copy删除模型
DELETE /api/delete下载模型
POST /api/pull上传模型
POST /api/push生成嵌入向量
POST /api/embed列出运行中的模型
GET /api/ps获取版本信息
GET /api/version
约定
模型名称模型名称格式为 model:tag ，其中 model 可以带有可选的命名空间（如 example/model ）。如果未提供 tag ，则默认为 latest 。
时间单位所有时间单位以纳秒为单位。
流式响应某些端点支持流式响应，返回一系列 JSON 对象。可以通过设置 {"stream": false} 禁用流式响应。
生成文本补全
POST /api/generate
简介
根据给定的提示（prompt）和指定的模型生成响应。这是一个流式（streaming）端点，因此会返回一系列响应。最终的响应对象将包含生成请求的统计信息和附加数据。
参数
• model：（必填）模型名称，格式为`model:tag`，其中`model`可以带有可选的命名空间（如`example/model`）。如果未提供`tag`，则默认为`latest`。
• prompt：提示文本，用于生成响应。
• suffix：模型响应后的文本。
• images：（可选）基础64编码的图像列表（适用于多模态模型，如`llava`）。
• format：返回响应的格式，可以是`json`或一个 JSON 模式。
• options：模型的附加参数，具体参数请参考模型文件（Modelfile）的文档，例如`temperature`。
• system：系统消息，用于覆盖模型文件中定义的系统消息。
• template：提示模板，用于覆盖模型文件中定义的模板。
• stream：如果设置为`false`，则响应将作为单个响应对象返回，而不是一系列对象。
• raw：如果设置为`true`，则不会对提示进行格式化。如果需要在请求中指定完整的模板化提示，则可以使用此参数。
• keep_alive：控制模型在请求完成后在内存中保持的时间，默认为`5m`。
• context：（已弃用）从之前的`/generate`请求返回的上下文参数，可用于保持简短的对话记忆。
结构化输出
通过在`format`参数中提供 JSON 模式，可以支持结构化输出。模型将生成符合该模式的响应。例如：
{
"type": "object",
"properties": {
"age": {
"type": "integer"
},
"available": {
"type": "boolean"
}
},
"required": [
"age",
"available"
]
}JSON 模式
通过将`format`参数设置为`json`，可以启用 JSON 模式。这将使响应成为一个有效的 JSON 对象。需要注意的是，在提示中指示模型使用 JSON 是很重要的，否则模型可能会生成大量空白字符。
示例
流式响应请求
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "Why is the sky blue?"
}'响应，返回一系列 JSON 对象：
{
"model": "llama3.2",
"created_at": "2023-08-04T08:52:19.385406455-07:00",
"response": "The",
"done": false
}最终响应还会包含以下附加数据：
• total_duration：生成响应所花费的总时间
• load_duration：加载模型所花费的时间（以纳秒为单位）
• prompt_eval_count：提示中的标记数量
• prompt_eval_duration：评估提示所花费的时间（以纳秒为单位）
• eval_count：响应中的标记数量
• eval_duration：生成响应所花费的时间（以纳秒为单位）
• context：用于此响应的对话编码，可以在下一次请求中发送以保持对话记忆
• response：如果响应是流式的，则为空；如果不是流式的，则包含完整的响应
为了计算每秒生成的标记数量（token/s），可以使用公式：`eval_count / eval_duration * 10^9`。
最终响应示例：
{
"model": "llama3.2",
"created_at": "2023-08-04T19:22:45.499127Z",
"response": "",
"done": true,
"context": [1, 2, 3],
"total_duration": 10706818083,
"load_duration": 6338219291,
"prompt_eval_count": 26,
"prompt_eval_duration": 130079000,
"eval_count": 259,
"eval_duration": 4232710000
}非流式响应请求
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "Why is the sky blue?",
"stream": false
}'响应，如果将`stream`设置为`false`，则响应将是一个单个的 JSON 对象：
{
"model": "llama3.2",
"created_at": "2023-08-04T19:22:45.499127Z",
"response": "The sky is blue because it is the color of the sky.",
"done": true,
"context": [1, 2, 3],
"total_duration": 5043500667,
"load_duration": 5025959,
"prompt_eval_count": 26,
"prompt_eval_duration": 325953000,
"eval_count": 290,
"eval_duration": 4709213000
}带有后缀的请求
curl http://localhost:11434/api/generate -d '{
"model": "codellama:code",
"prompt": "def compute_gcd(a, b):",
"suffix": " return result",
"options": {
"temperature": 0
},
"stream": false
}'响应
{
"model": "codellama:code",
"created_at": "2024-07-22T20:47:51.147561Z",
"response": "\n if a == 0:\n return b\n else:\n return compute_gcd(b % a, a)\n\ndef compute_lcm(a, b):\n result = (a * b) / compute_gcd(a, b)\n",
"done": true,
"done_reason": "stop",
"context": [...],
"total_duration": 1162761250,
"load_duration": 6683708,
"prompt_eval_count": 17,
"prompt_eval_duration": 201222000,
"eval_count": 63,
"eval_duration": 953997000
}结构化输出请求
curl -X POST http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{
"model": "llama3.1:8b",
"prompt": "Ollama is 22 years old and is busy saving the world. Respond using JSON",
"stream": false,
"format": {
"type": "object",
"properties": {
"age": {
"type": "integer"
},
"available": {
"type": "boolean"
}
},
"required": [
"age",
"available"
]
}
}'响应
{
"model": "llama3.1:8b",
"created_at": "2024-12-06T00:48:09.983619Z",
"response": "{\n \"age\": 22,\n \"available\": true\n}",
"done": true,
"done_reason": "stop",
"context": [1, 2, 3],
"total_duration": 1075509083,
"load_duration": 567678166,
"prompt_eval_count": 28,
"prompt_eval_duration": 236000000,
"eval_count": 16,
"eval_duration": 269000000
}JSON 模式请求
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "What color is the sky at different times of the day? Respond using JSON",
"format": "json",
"stream": false
}'响应
{
"model": "llama3.2",
"created_at": "2023-11-09T21:07:55.186497Z",
"response": "{\n\"morning\": {\n\"color\": \"blue\"\n},\n\"noon\": {\n\"color\": \"blue-gray\"\n},\n\"afternoon\": {\n\"color\": \"warm gray\"\n},\n\"evening\": {\n\"color\": \"orange\"\n}\n}\n",
"done": true,
"context": [1, 2, 3],
"total_duration": 4648158584,
"load_duration": 4071084,
"prompt_eval_count": 36,
"prompt_eval_duration": 439038000,
"eval_count": 180,
"eval_duration": 4196918000
}response的值将是一个包含 JSON 的字符串，类似于以下内容：
{
"morning": {
"color": "blue"
},
"noon": {
"color": "blue-gray"
},
"afternoon": {
"color": "warm gray"
},
"evening": {
"color": "orange"
}
}重要提示：当`format`设置为`json`时，输出将始终是一个格式良好的 JSON 对象。在提示中指示模型以 JSON 格式响应是非常重要的。
请求（带图像）
向多模态模型（如`llava`或`bakllava`）提交图像时，需提供一个包含base64编码图像的列表：
curl http://localhost:11434/api/generate -d '{
"model": "llava",
"prompt":"What is in this picture?",
"stream": false,
"images": ["iVBORw0KGgoAAAANSUhEUgAAAG0AAAB...."]
}'响应
{
"model": "llava",
"created_at": "2023-11-03T15:36:02.583064Z",
"response": "A happy cartoon character, which is cute and cheerful.",
"done": true,
"context": [1, 2, 3],
"total_duration": 2938432250,
"load_duration": 2559292,
"prompt_eval_count": 1,
"prompt_eval_duration": 2195557000,
"eval_count": 44,
"eval_duration": 736432000
}原始模式请求
在某些情况下，您可能希望绕过模板系统并提供完整的提示。在这种情况下，可以使用`raw`参数来禁用模板化。请注意，原始模式不会返回上下文。
curl http://localhost:11434/api/generate -d '{
"model": "mistral",
"prompt": "[INST] why is the sky blue? [/INST]",
"raw": true,
"stream": false
}'请求（可重复的输出）
为了获得可重现的输出，可以设置`seed`参数为一个数字：
curl http://localhost:11434/api/generate -d '{
"model": "mistral",
"prompt": "Why is the sky blue?",
"options": {
"seed": 123
}
}'响应
{
"model": "mistral",
"created_at": "2023-11-03T15:36:02.583064Z",
"response": " The sky appears blue because of a phenomenon called Rayleigh scattering.",
"done": true,
"total_duration": 8493852375,
"load_duration": 6589624375,
"prompt_eval_count": 14,
"prompt_eval_duration": 119039000,
"eval_count": 110,
"eval_duration": 1779061000
}生成请求（带选项）
如果希望在运行时而不是在模型文件（Modelfile）中设置模型的自定义选项，可以使用`options`参数。此示例设置了所有可用的选项，但您可以单独设置其中的任何一个，并省略您不想覆盖的选项。
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "Why is the sky blue?",
"stream": false,
"options": {
"num_keep": 5,
"seed": 42,
"num_predict": 100,
"top_k": 20,
"top_p": 0.9,
"min_p": 0.0,
"typical_p": 0.7,
"repeat_last_n": 33,
"temperature": 0.8,
"repeat_penalty": 1.2,
"presence_penalty": 1.5,
"frequency_penalty": 1.0,
"mirostat": 1,
"mirostat_tau": 0.8,
"mirostat_eta": 0.6,
"penalize_newline": true,
"stop": ["\n", "user:"],
"numa": false,
"num_ctx": 1024,
"num_batch": 2,
"num_gpu": 1,
"main_gpu": 0,
"low_vram": false,
"vocab_only": false,
"use_mmap": true,
"use_mlock": false,
"num_thread": 8
}
}'响应
{
"model": "llama3.2",
"created_at": "2023-08-04T19:22:45.499127Z",
"response": "The sky is blue because it is the color of the sky.",
"done": true,
"context": [1, 2, 3],
"total_duration": 4935886791,
"load_duration": 534986708,
"prompt_eval_count": 26,
"prompt_eval_duration": 107345000,
"eval_count": 237,
"eval_duration": 4289432000
}加载模型请求
如果提供空的提示，则模型将被加载到内存中。
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2"
}'响应，返回一个单个的 JSON 对象：
{
"model": "llama3.2",
"created_at": "2023-12-18T19:52:07.071755Z",
"response": "",
"done": true
}卸载模型请求
如果提供空的提示，并且将`keep_alive`参数设置为`0`，则模型将从内存中卸载。
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"keep_alive": 0
}'响应，返回一个单个的 JSON 对象：
{
"model": "llama3.2",
"created_at": "2024-09-12T03:54:03.516566Z",
"response": "",
"done": true,
"done_reason": "unload"
}生成聊天完成
POST api/chat
使用提供的模型生成聊天中的下一条消息。这是一个流式传输端点，因此会有一系列响应。可以通过将 stream 设置为 false 来禁用流式传输。最终响应对象将包含请求的统计信息和其他数据。
参数：
- model: （必需）模型名称
- messages: 聊天消息，可用于保持聊天记忆
- tools: 模型可以使用的工具列表（如果支持）
message 对象具有以下字段：
- role: 消息的角色，可以是 system、`user`、`assistant` 或 tool
- content: 消息的内容
- images （可选）: 要包含在消息中的图像列表（适用于如 llava 等多模态模型）
- tool_calls （可选）: 模型想要使用的工具列表
高级参数（可选）：
- format: 返回响应的格式。格式可以是 json 或 JSON 模式。
- options: 在模型文件文档中列出的其他模型参数，例如 temperature
- stream: 如果为 false，响应将作为单个响应对象返回，而不是一系列对象
- keep_alive: 控制请求后模型在内存中保持加载的时间（默认：`5m`）
结构化输出
通过在 format 参数中提供 JSON 模式来支持结构化输出。模型将生成符合该模式的响应。请参见下面的聊天请求（结构化输出）示例。
示例
聊天请求（流式传输）
发送带有流式传输响应的聊天消息。
请求
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{
"role": "user",
"content": "why is the sky blue?"
}
]
}'响应，返回一系列 JSON 对象：
{
"model": "llama3.2",
"created_at": "2023-08-04T08:52:19.385406455-07:00",
"message": {
"role": "assistant",
"content": "The",
"images": null
},
"done": false
}最终响应：
{
"model": "llama3.2",
"created_at": "2023-08-04T19:22:45.499127Z",
"done": true,
"total_duration": 4883583458,
"load_duration": 1334875,
"prompt_eval_count": 26,
"prompt_eval_duration": 342546000,
"eval_count": 282,
"eval_duration": 4535599000
}聊天请求（非流式传输）
请求
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{
"role": "user",
"content": "why is the sky blue?"
}
],
"stream": false
}'响应
{
"model": "llama3.2",
"created_at": "2023-12-12T14:13:43.416799Z",
"message": {
"role": "assistant",
"content": "Hello! How are you today?"
},
"done": true,
"total_duration": 5191566416,
"load_duration": 2154458,
"prompt_eval_count": 26,
"prompt_eval_duration": 383809000,
"eval_count": 298,
"eval_duration": 4799921000
}聊天请求（结构化输出）
请求
curl -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{
"model": "llama3.1",
"messages": [{"role": "user", "content": "Ollama is 22 years old and busy saving the world. Return a JSON object with the age and availability."}],
"stream": false,
"format": {
"type": "object",
"properties": {
"age": {
"type": "integer"
},
"available": {
"type": "boolean"
}
},
"required": [
"age",
"available"
]
},
"options": {
"temperature": 0
}
}'响应
{
"model": "llama3.1",
"created_at": "2024-12-06T00:46:58.265747Z",
"message": { "role": "assistant", "content": "{\"age\": 22, \"available\": false}" },
"done_reason": "stop",
"done": true,
"total_duration": 2254970291,
"load_duration": 574751416,
"prompt_eval_count": 34,
"prompt_eval_duration": 1502000000,
"eval_count": 12,
"eval_duration": 175000000
}聊天请求（带历史记录）
发送带有对话历史记录的聊天消息。您可以使用相同的方法通过多轮对话或链式思维提示来启动对话。
请求
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{
"role": "user",
"content": "why is the sky blue?"
},
{
"role": "assistant",
"content": "due to rayleigh scattering."
},
{
"role": "user",
"content": "how is that different than mie scattering?"
}
]
}'响应，返回一系列 JSON 对象：
{
"model": "llama3.2",
"created_at": "2023-08-04T08:52:19.385406455-07:00",
"message": {
"role": "assistant",
"content": "The"
},
"done": false
}最终响应：
{
"model": "llama3.2",
"created_at": "2023-08-04T19:22:45.499127Z",
"done": true,
"total_duration": 8113331500,
"load_duration": 6396458,
"prompt_eval_count": 61,
"prompt_eval_duration": 398801000,
"eval_count": 468,
"eval_duration": 7701267000
}聊天请求（带图像）
发送带有图像的聊天消息。图像应作为数组提供，每个图像以base64编码。
请求
curl http://localhost:11434/api/chat -d '{
"model": "llava",
"messages": [
{
"role": "user",
"content": "what is in this image?",
"images": ["iVBORw0....."]
}
]
}'响应
{
"model": "llava",
"created_at": "2023-12-13T22:42:50.203334Z",
"message": {
"role": "assistant",
"content": " The image features a cute, little pig with an angry facial expression. It's wearing a heart on its shirt and is waving in the air. This scene appears to be part of a drawing or sketching project.",
"images": null
},
"done": true,
"total_duration": 1668506709,
"load_duration": 1986209,
"prompt_eval_count": 26,
"prompt_eval_duration": 359682000,
"eval_count": 83,
"eval_duration": 1303285000
}聊天请求（可重复的输出）
请求
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{
"role": "user",
"content": "Hello!"
}
],
"options": {
"seed": 101,
"temperature": 0
}
}'响应
{
"model": "llama3.2",
"created_at": "2023-12-12T14:13:43.416799Z",
"message": {
"role": "assistant",
"content": "Hello! How are you today?"
},
"done": true,
"total_duration": 5191566416,
"load_duration": 2154458,
"prompt_eval_count": 26,
"prompt_eval_duration": 383809000,
"eval_count": 298,
"eval_duration": 4799921000
}聊天请求（带工具）
请求
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{
"role": "user",
"content": "What is the weather today in Paris?"
}
],
"stream": false,
"tools": [
{
"type": "function",
"function": {
"name": "get_current_weather",
"description": "Get the current weather for a location",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "The location to get the weather for, e.g. San Francisco, CA"
},
"format": {
"type": "string",
"description": "The format to return the weather in, e.g. 'celsius' or 'fahrenheit'",
"enum": ["celsius", "fahrenheit"]
}
},
"required": ["location", "format"]
}
}
}
]
}'响应
{
"model": "llama3.2",
"created_at": "2024-07-22T20:33:28.123648Z",
"message": {
"role": "assistant",
"content": "",
"tool_calls": [
{
"function": {
"name": "get_current_weather",
"arguments": {
"format": "celsius",
"location": "Paris, FR"
}
}
}
]
},
"done_reason": "stop",
"done": true,
"total_duration": 885095291,
"load_duration": 3753500,
"prompt_eval_count": 122,
"prompt_eval_duration": 328493000,
"eval_count": 33,
"eval_duration": 552222000
}加载模型
如果消息数组为空，模型将被加载到内存中。
请求
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": []
}'响应
{
"model": "llama3.2",
"created_at":"2024-09-12T21:17:29.110811Z",
"message": {
"role": "assistant",
"content": ""
},
"done_reason": "load",
"done": true
}卸载模型
如果消息数组为空并将 keep_alive 参数设置为 0，模型将从内存中卸载。
请求
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [],
"keep_alive": 0
}'响应，返回一个 JSON 对象：
{
"model": "llama3.2",
"created_at":"2024-09-12T21:33:17.547535Z",
"message": {
"role": "assistant",
"content": ""
},
"done_reason": "unload",
"done": true
}创建模型
POST api/create
从以下内容创建模型：
另一个模型；
一个 safetensors 目录；
一个 GGUF 文件。
如果您是从 safetensors 目录或 GGUF 文件创建模型，则必须为每个文件创建一个 blob，然后在 files 字段中使用文件名和 blob 的 SHA256 摘要。
参数：
- model: 要创建的模型名称
- from: （可选）要从中创建新模型的现有模型名称
- files: （可选）文件名到 blob 的 SHA256 摘要的字典，用于从中创建模型
- adapters: （可选）LORA 适配器的文件名到 blob 的 SHA256 摘要的字典
- template: （可选）模型的提示模板
- license: （可选）包含模型许可证或许可证的字符串或字符串列表
- system: （可选）模型的系统提示字符串
- parameters: （可选）模型的参数字典（请参阅模型文件以获取参数列表）
- messages: （可选）用于创建对话的消息对象列表
- stream: （可选）如果为 false，响应将作为单个响应对象返回，而不是一系列对象
- quantize （可选）: 量化非量化（例如 float16）模型
量化类型：
示例
创建新模型
从现有模型创建新模型。
请求
curl http://localhost:11434/api/create -d '{
"model": "mario",
"from": "llama3.2",
"system": "You are Mario from Super Mario Bros."
}'响应，返回一系列 JSON 对象：
{"status":"reading model metadata"}
{"status":"creating system layer"}
{"status":"using already created layer sha256:22f7f8ef5f4c791c1b03d7eb414399294764d7cc82c7e94aa81a1feb80a983a2"}
{"status":"using already created layer sha256:8c17c2ebb0ea011be9981cc3922db8ca8fa61e828c5d3f44cb6ae342bf80460b"}
{"status":"using already created layer sha256:7c23fb36d80141c4ab8cdbb61ee4790102ebd2bf7aeff414453177d4f2110e5d"}
{"status":"using already created layer sha256:2e0493f67d0c8c9c68a8aeacdf6a38a2151cb3c4c1d42accf296e19810527988"}
{"status":"using already created layer sha256:2759286baa875dc22de5394b4a925701b1896a7e3f8e53275c36f75a877a82c9"}
{"status":"writing layer sha256:df30045fe90f0d750db82a058109cecd6d4de9c90a3d75b19c09e5f64580bb42"}
{"status":"writing layer sha256:f18a68eb09bf925bb1b669490407c1b1251c5db98dc4d3d81f3088498ea55690"}
{"status":"writing manifest"}
{"status":"success"}量化模型
量化非量化模型。
请求
curl http://localhost:11434/api/create -d '{
"model": "llama3.1:quantized",
"from": "llama3.1:8b-instruct-fp16",
"quantize": "q4_K_M"
}'响应，返回一系列 JSON 对象：
{"status":"quantizing F16 model to Q4_K_M"}
{"status":"creating new layer sha256:667b0c1932bc6ffc593ed1d03f895bf2dc8dc6df21db3042284a6f4416b06a29"}
{"status":"using existing layer sha256:11ce4ee3e170f6adebac9a991c22e22ab3f8530e154ee669954c4bc73061c258"}
{"status":"using existing layer sha256:0ba8f0e314b4264dfd19df045cde9d4c394a52474bf92ed6a3de22a4ca31a177"}
{"status":"using existing layer sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb"}
{"status":"creating new layer sha256:455f34728c9b5dd3376378bfb809ee166c145b0b4c1f1a6feca069055066ef9a"}
{"status":"writing manifest"}
{"status":"success"}从 GGUF 创建模型
从 GGUF 文件创建模型。`files` 参数应填写要使用的 GGUF 文件的文件名和 SHA256 摘要。在调用此 API 之前，请使用 /api/blobs/:digest 将 GGUF 文件推送到服务器。
请求
curl http://localhost:11434/api/create -d '{
"model": "my-gguf-model",
"files": {
"test.gguf": "sha256:432f310a77f4650a88d0fd59ecdd7cebed8d684bafea53cbff0473542964f0c3"
}
}'响应，返回一系列 JSON 对象：
{"status":"parsing GGUF"}
{"status":"using existing layer sha256:432f310a77f4650a88d0fd59ecdd7cebed8d684bafea53cbff0473542964f0c3"}
{"status":"writing manifest"}
{"status":"success"}从 Safetensors 目录创建模型
files 参数应包含 safetensors 模型的文件字典，其中包括文件名和每个文件的 SHA256 摘要。在调用此 API 之前，请使用 /api/blobs/:digest 将每个文件推送到服务器。文件将保留在缓存中，直到 Ollama 服务器重新启动。
请求
curl http://localhost:11434/api/create -d '{
"model": "fred",
"files": {
"config.json": "sha256:dd3443e529fb2290423a0c65c2d633e67b419d273f170259e27297219828e389",
"generation_config.json": "sha256:88effbb63300dbbc7390143fbbdd9d9fa50587b37e8bfd16c8c90d4970a74a36",
"special_tokens_map.json": "sha256:b7455f0e8f00539108837bfa586c4fbf424e31f8717819a6798be74bef813d05",
"tokenizer.json": "sha256:bbc1904d35169c542dffbe1f7589a5994ec7426d9e5b609d07bab876f32e97ab",
"tokenizer_config.json": "sha256:24e8a6dc2547164b7002e3125f10b415105644fcf02bf9ad8b674c87b1eaaed6",
"model.safetensors": "sha256:1ff795ff6a07e6a68085d206fb84417da2f083f68391c2843cd2b8ac6df8538f"
}
}'响应，返回一系列 JSON 对象：
{"status":"converting model"}
{"status":"creating new layer sha256:05ca5b813af4a53d2c2922933936e398958855c44ee534858fcfd830940618b6"}
{"status":"using autodetected template llama3-instruct"}
{"status":"using existing layer sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb"}
{"status":"writing manifest"}
{"status":"success"}检查 Blob 是否存在
确保用于创建模型的文件 blob（二进制大对象）存在于服务器上。这会检查您的 Ollama 服务器，而不是 ollama.com。
查询参数：
- digest: blob 的 SHA256 摘要
示例
请求
curl -I http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2响应
如果 blob 存在，返回 200 OK；如果不存在，返回 404 Not Found。
推送 Blob
将文件推送到 Ollama 服务器以创建“blob”（二进制大对象）。
查询参数：
- digest: 文件的预期 SHA256 摘要
示例
请求
curl -T model.gguf -X POST http://localhost:11434/api/blobs/sha256:29fdb92e57cf0827ded04ae6461b5931d01fa595843f55d36f5b275a52087dd2响应
如果 blob 成功创建，返回 201 Created；如果使用的摘要不符合预期，返回 400 Bad Request。
列出本地模型
GET /api/tags
列出本地可用的模型。
示例
请求
curl http://localhost:11434/api/tags响应，返回一个 JSON 对象。
{
"models": [
{
"name": "codellama:13b",
"modified_at": "2023-11-04T14:56:49.277302595-07:00",
"size": 7365960935,
"digest": "9f438cb9cd581fc025612d27f7c1a6669ff83a8bb0ed86c94fcf4c5440555697",
"details": {
"format": "gguf",
"family": "llama",
"families": null,
"parameter_size": "13B",
"quantization_level": "Q4_0"
}
},
{
"name": "llama3:latest",
"modified_at": "2023-12-07T09:32:18.757212583-08:00",
"size": 3825819519,
"digest": "fe938a131f40e6f6d40083c9f0f430a515233eb2edaa6d72eb85c50d64f2300e",
"details": {
"format": "gguf",
"family": "llama",
"families": null,
"parameter_size": "7B",
"quantization_level": "Q4_0"
}
}
]
}显示模型信息
POST /api/show
显示模型的信息，包括详细信息、模型文件、模板、参数、许可证、系统提示。
参数：
- model: 要显示的模型名称
- verbose: （可选）如果设置为 true，则返回详细响应字段的完整数据
示例
请求
curl http://localhost:11434/api/show -d '{
"model": "llama3.2"
}'响应
{
"modelfile": "# Modelfile generated by \"ollama show\"\n# To build a new Modelfile based on this one, replace the FROM line with:\n# FROM llava:latest\n\nFROM /Users/matt/.ollama/models/blobs/sha256:200765e1283640ffbd013184bf496e261032fa75b99498a9613be4e94d63ad52\nTEMPLATE \"\"\"{{ .System }}\nUSER: {{ .Prompt }}\nASSISTANT: \"\"\"\nPARAMETER num_ctx 4096\nPARAMETER stop \"\u003c/s\u003e\"\nPARAMETER stop \"USER:\"\nPARAMETER stop \"ASSISTANT:\"",
"parameters": "num_keep 24\nstop \"<|start_header_id|>\"\nstop \"<|end_header_id|>\"\nstop \"<|eot_id|>\"",
"template": "{{ if .System }}<|start_header_id|>system<|end_header_id|>\n\n{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>\n\n{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>\n\n{{ .Response }}<|eot_id|>",
"details": {
"parent_model": "",
"format": "gguf",
"family": "llama",
"families": [
"llama"
],
"parameter_size": "8.0B",
"quantization_level": "Q4_0"
},
"model_info": {
"general.architecture": "llama",
"general.file_type": 2,
"general.parameter_count": 8030261248,
"general.quantization_version": 2,
"llama.attention.head_count": 32,
"llama.attention.head_count_kv": 8,
"llama.attention.layer_norm_rms_epsilon": 0.00001,
"llama.block_count": 32,
"llama.context_length": 8192,
"llama.embedding_length": 4096,
"llama.feed_forward_length": 14336,
"llama.rope.dimension_count": 128,
"llama.rope.freq_base": 500000,
"llama.vocab_size": 128256,
"tokenizer.ggml.bos_token_id": 128000,
"tokenizer.ggml.eos_token_id": 128009,
"tokenizer.ggml.merges": [], // 如果 verbose=true 则填充
"tokenizer.ggml.model": "gpt2",
"tokenizer.ggml.pre": "llama-bpe",
"tokenizer.ggml.token_type": [], // 如果 verbose=true 则填充
"tokenizer.ggml.tokens": [] // 如果 verbose=true 则填充
}
}复制模型
POST api/copy
复制模型。从现有模型创建具有另一个名称的模型。
示例
请求
curl http://localhost:11434/api/copy -d '{
"source": "llama3.2",
"destination": "llama3-backup"
}'响应
如果成功，返回 200 OK；如果源模型不存在，返回 404 Not Found。
删除模型
POST api/delete
删除模型及其数据。
参数：
- model: 要删除的模型名称
示例
请求
curl -X DELETE http://localhost:11434/api/delete -d '{
"model": "llama3:13b"
}'响应
如果成功，返回 200 OK；如果要删除的模型不存在，返回 404 Not Found。
拉取模型
POST api/pull
从 ollama 库下载模型。取消的拉取会从中断处继续，多次调用将共享相同的下载进度。
参数：
- model: 要拉取的模型名称
- insecure: （可选）允许与库的不安全连接。仅在从您自己的库拉取时使用。
- stream: （可选）如果为 false，响应将作为单个响应对象返回，而不是一系列对象
示例
请求
curl http://localhost:11434/api/pull -d '{
"model": "llama3.2"
}'响应
如果未指定 stream 或将其设置为 true，将返回一系列 JSON 对象：
第一个对象是清单：
{
"status": "pulling manifest"
}然后是一系列下载响应。在任何下载完成之前，`completed` 键可能不会包含。要下载的文件数量取决于清单中指定的图层数量。
{
"status": "downloading digestname",
"digest": "digestname",
"total": 2142590208,
"completed": 241970
}在所有文件下载完成后，最后的响应是：
{ "status": "verifying sha256 digest" }
{ "status": "writing manifest" }
{ "status": "removing any unused layers" }
{ "status": "success" }如果 stream 设置为 false，则响应是一个单个 JSON 对象：
推送模型
POST api/push
将模型上传到模型库。需要先在 ollama.ai 注册并添加公钥。
参数：
- model: 要推送的模型名称，格式为 <namespace>/<model>:<tag>
- insecure: （可选）允许与库的不安全连接。仅在推送到您自己的库时使用。
- stream: （可选）如果为 false，响应将作为单个响应对象返回，而不是一系列对象
示例
请求
curl http://localhost:11434/api/push -d '{
"model": "mattw/pygmalion:latest"
}'响应
如果未指定 stream 或将其设置为 true，将返回一系列 JSON 对象：
{ "status": "retrieving manifest" }然后是：
{
"status": "starting upload",
"digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
"total": 1928429856
}然后是一系列上传响应：
{
"status": "starting upload",
"digest": "sha256:bc07c81de745696fdf5afca05e065818a8149fb0c77266fb584d9b2cba3711ab",
"total": 1928429856
}最后，当上传完成时：
{"status": "pushing manifest"}
{"status": "success"}如果 stream 设置为 false，则响应是一个单个 JSON 对象：
{
"status": "success"
}生成嵌入模型
POST api/embed
从模型生成嵌入
参数：
- model: 用于生成嵌入的模型名称
- input: 要生成嵌入的文本或文本列表
高级参数：
- truncate: 截断每个输入的末尾以适应上下文长度。如果为 false 且超出上下文长度，则返回错误。默认为 true
- options: 在模型文件文档中列出的其他模型参数，例如 temperature
- keep_alive: 控制请求后模型在内存中保持加载的时间（默认：`5m`）
示例
请求
curl http://localhost:11434/api/embed -d '{
"model": "all-minilm",
"input": "Why is the sky blue?"
}'响应
{
"model": "all-minilm",
"embeddings": [[
0.010071029, -0.0017594862, 0.05007221, 0.04692972, 0.054916814,
0.008599704, 0.105441414, -0.025878139, 0.12958129, 0.031952348
]],
"total_duration": 14143917,
"load_duration": 1019500,
"prompt_eval_count": 8
}请求（多个输入）
curl http://localhost:11434/api/embed -d '{
"model": "all-minilm",
"input": ["Why is the sky blue?", "Why is the grass green?"]
}'响应
{
"model": "all-minilm",
"embeddings": [[
0.010071029, -0.0017594862, 0.05007221, 0.04692972, 0.054916814,
0.008599704, 0.105441414, -0.025878139, 0.12958129, 0.031952348
],[
-0.0098027075, 0.06042469, 0.025257962, -0.006364387, 0.07272725,
0.017194884, 0.09032035, -0.051705178, 0.09951512, 0.09072481
]]
}列出运行中的模型
GET api/ps
列出当前加载到内存中的模型。
示例请求
curl http://localhost:11434/api/ps响应，返回一个 JSON 对象。
{
"models": [
{
"name": "mistral:latest",
"model": "mistral:latest",
"size": 5137025024,
"digest": "2ae6f6dd7a3dd734790bbbf58b8909a606e0e7e97e94b7604e0aa7ae4490e6d8",
"details": {
"parent_model": "",
"format": "gguf",
"family": "llama",
"families": [
"llama"
],
"parameter_size": "7.2B",
"quantization_level": "Q4_0"
},
"expires_at": "2024-06-04T14:38:31.83753-07:00",
"size_vram": 5137025024
}
]
}获取版本信息
GET /api/version
检索Ollama版本信息
示例
请求
curl http://localhost:11434/api/version 响应
{ "version": "0.5.1" }