通过pip安装vLLM

半兽人 发表于: 2025-11-11   最后更新时间: 2025-11-11 14:58:11  
{{totalSubscript}} 订阅, 13 游览

通过pip安装vLLM:

pip install vllm

加载和运行模型:

vllm serve "Qwen/Qwen3-0.6B"

使用curl调用服务:

curl -X POST "http://localhost:8000/v1/chat/completions" \
    -H "Content-Type: application/json" \
    --data '{
        "model": "Qwen/Qwen3-0.6B",
        "messages": [
            {
                "role": "user",
                "content": "What is the capital of France?"
            }
        ]
    }'
更新于 2025-11-11
在线,1小时前登录

查看vLLM更多相关的文章或提一个关于vLLM的问题,也可以与我们一起分享文章