Python OpenAI 库调用 Ollama

以下是一个简单的 Python 脚本，展示如何用 OpenAI 库调用 Ollama 的 qwen2.5 模型：

import asyncio

from openai import AsyncOpenAI


class LLM:
    def __init__(self):
        self.api_key = "key"
        self.base_url = "http://127.0.0.1:11434/v1"
        self.client = AsyncOpenAI(api_key=self.api_key, base_url=self.base_url)

    async def ask(self, prompt):
        """
        向模型发送简单的文本提示并获取回复

        Args:
            prompt (str): 用户输入的提示文本

        Returns:
            str: 模型的回复内容
        """
        response = await self.client.chat.completions.create(
            model="qwen2.5",
            messages=[{"role": "user", "content": prompt}]
        )
        print(response)
        return response.choices[0].message.content

if __name__ == "__main__":
    async def main():
        llm = LLM()

        # 测试基础对话
        tasks = [llm.ask("你好，你是谁") for _ in range(1)]
        results = await asyncio.gather(*tasks)
        for result in results:
            print(result)

    asyncio.run(main())

安装openai依赖：

uv pip install openai

执行：

$ python llm/ollama.simple.py 
你好！我是Qwen，由阿里云开发的大型语言模型。我被设计用于生成各种类型的文本，包括但不限于文章、故事、诗歌等，并能够回答问题和进行对话。有什么我可以帮助您的吗？