AI

**分词器（Tokenizer）** 是一种将文本拆分为 **token（标记）** 的工具。在自然语言处理（NLP）和大语言模型（LLM）中，分词器负责把输入文本转换成 **模型可以理解的最小单元**，通常是单词、子词或字符。 **为什么需要分词器？**计算机无法直接理解人类语言，它只能处理数...

以下是一个简单的 Python 脚本，展示如何用 OpenAI 库调用 Ollama 的 qwen2.5 模型：```import asynciofrom openai import AsyncOpenAIclass LLM: def __init__(self): self.a...

Python OpenAI 库调用 Ollama 实现多轮对话和上下文记忆的对话方法以下是一个简单的 Python 脚本，展示如何用 OpenAI 库调用 Ollama 的 qwen2.5 模型，实现多轮对话和上下文记忆的对话方法：```import asynciofrom openai impor...

以下是一个简单的 Python 脚本，展示如何用 OpenAI 库调用 Ollama 的 qwen2.5 模型，实现对工具的调用：```import asynciofrom openai import AsyncOpenAIclass LLM: def __init__(self): ...

以下是一个简单的 Python 脚本，展示如何用 OpenAI 库调用 Ollama 的 qwen2.5 模型，实现对Baidu的调用：```import asyncioimport jsonfrom datetime import datetimeimport pytzfrom openai im...

大模型的微调（Fine-tuning）和 RAG（Retrieval-Augmented Generation）是两种常见的提升大语言模型能力的方法，但它们的思路和使用场景不同。下面是它们的对比说明： 一、微调（Fine-tuning） 定义：在一个已经训练好的大语言模型基础上，继续用特定领域的数据...

一、LoRALoRA，英文全称`Low-Rank Adaptation of Large Language Models`，直译为大语言模型的`低阶适配`，是微软的研究人员为了解决大语言模型微调而开发的一项技术。例如，GPT-3有1750亿参数，为了让它能干特定领域的活儿，需要做微调，但是如果直接...