跳转到内容

接入模型

CongoRAG 不内置模型,也不代管额度。你要自己准备一个模型服务,并在引导页里填连接信息。

字段说明
Base URL服务商的 OpenAI 兼容地址,通常到 /v1 这一层
API Key服务商签发的 Key
Chat 模型用来对话和执行 Agent 的模型名
Embedding 模型用来把文本变成向量的模型名
支持工具调用chat 模型是否能按 OpenAI 的 tool calls 格式返回工具请求

模型名按服务商的写法填,不要填展示名。Base URL 多一级或少一级都可能得到 404。

CongoRAG 走的是 OpenAI 兼容的 chat 和 embedding 接口。Anthropic 原生消息格式不在内置支持范围内;需要的话,先在中间加一个兼容网关。

填完 embedding 模型后,CongoRAG 会发一次真实请求,量出向量维度。这个维度会写进数据库的向量列,并决定 HNSW 索引的形状。

pgvector 的 halfvec 索引上限是 4000 维;超过这个值,引导会失败。选模型前先看它的输出维度。

换 embedding 模型还要处理旧向量。旧分块是用旧模型算出来的,维度可能不同,距离也不可比。界面会提供“清空并重建”的选项;确认后,旧向量会被清掉,文档需要重新索引。

不重建直接检索,通常会在向量维度或模型过滤上报错。不要跳过这一步。

Agent 依赖模型的 tool calls 能力。引导页里取消勾选“支持工具调用”后,带工具的 Agent 会立刻不能创建和运行;普通对话不受影响。

如果你不确定模型是否支持,先建一个不带工具的知识库对话验证,再试 Agent。

API Key 用 AES-GCM 加密后写进本地数据库。主密钥来自环境变量或 data/master.key,不会上传到任何地方。

主密钥丢了,库里所有 Key 都解不开。备份时把它和数据库一起备。

每次模型调用记一行 token 用量。上游没返回 usage 时,调用次数仍然加一,token 记 0。金额不在这里算:你用的是自己的账号,账单在服务商那边。