接入模型
CongoRAG 不内置模型,也不代管额度。你要自己准备一个模型服务,并在引导页里填连接信息。
| 字段 | 说明 |
|---|---|
| Base URL | 服务商的 OpenAI 兼容地址,通常到 /v1 这一层 |
| API Key | 服务商签发的 Key |
| Chat 模型 | 用来对话和执行 Agent 的模型名 |
| Embedding 模型 | 用来把文本变成向量的模型名 |
| 支持工具调用 | chat 模型是否能按 OpenAI 的 tool calls 格式返回工具请求 |
模型名按服务商的写法填,不要填展示名。Base URL 多一级或少一级都可能得到 404。
CongoRAG 走的是 OpenAI 兼容的 chat 和 embedding 接口。Anthropic 原生消息格式不在内置支持范围内;需要的话,先在中间加一个兼容网关。
embedding 维度
Section titled “embedding 维度”填完 embedding 模型后,CongoRAG 会发一次真实请求,量出向量维度。这个维度会写进数据库的向量列,并决定 HNSW 索引的形状。
pgvector 的 halfvec 索引上限是 4000 维;超过这个值,引导会失败。选模型前先看它的输出维度。
换 embedding 模型
Section titled “换 embedding 模型”换 embedding 模型还要处理旧向量。旧分块是用旧模型算出来的,维度可能不同,距离也不可比。界面会提供“清空并重建”的选项;确认后,旧向量会被清掉,文档需要重新索引。
不重建直接检索,通常会在向量维度或模型过滤上报错。不要跳过这一步。
Agent 依赖模型的 tool calls 能力。引导页里取消勾选“支持工具调用”后,带工具的 Agent 会立刻不能创建和运行;普通对话不受影响。
如果你不确定模型是否支持,先建一个不带工具的知识库对话验证,再试 Agent。
Key 怎么存
Section titled “Key 怎么存”API Key 用 AES-GCM 加密后写进本地数据库。主密钥来自环境变量或 data/master.key,不会上传到任何地方。
主密钥丢了,库里所有 Key 都解不开。备份时把它和数据库一起备。
每次模型调用记一行 token 用量。上游没返回 usage 时,调用次数仍然加一,token 记 0。金额不在这里算:你用的是自己的账号,账单在服务商那边。