安装Ollama(Mac/Linux系统):在终端中输入brew install ollama,等待安装完成。
下载并运行模型:在终端输入ollama run mistral,即可下载并运行Mistral模型。
调用Ollama的API:在Python环境中,使用以下代码调用API:
import requests
response = requests.post("http://localhost:11434/api/generate", json={"model": "mistral", "prompt": "Tell me a joke"})
print(response.json())
安装依赖:
uv pip install requests
运行:
uv run llm/ollama.py
上述代码中,首先导入requests库,然后使用requests.post方法向本地的Ollama API发送请求,请求地址为http://localhost:11434/api/generate,并在请求中指定使用的模型为mistral,输入的提示内容为“Tell me a joke”。最后,打印API返回的结果。
