RAG and Retrieval

条目状态与系统位置

本图位于 Application / Retrieval / Agent Runtime:索引和召回是数据与检索层,引用生成接到模型层,多跳检索再接到 Agent Loop。只有 RAG Optimization Map 是独立总览,其余条目默认是该总览中的子机制,不代表每个都有单独文章。

总览

学习与排错路径

1
2
3
4
5
6
数据/权限/版本
→ 解析与 chunk
→ sparse/dense/hybrid retrieval
→ rerank 与 context selection
→ grounded generation / citations
→ retrieval、答案、成本与线上反馈

读者应沿这条因果链定位问题:召回不到证据,不要先改 prompt;证据已在但答案错,再检查排序、上下文压缩和生成。Agentic RAG 只是把 query transformation、工具调用和多跳状态放进 Agent Loop;它不会消除基础索引质量问题。

Indexing

  • 文档解析与结构恢复(未单列:见 RAG Optimization Map
  • Chunking:fixed、recursive、sentence、semantic、document-aware(未单列)
  • metadata、权限与版本(未单列)
  • embedding 与向量索引(未单列)

Retrieval

  • sparse、dense 与 hybrid retrieval(未单列)
  • ANN:Flat、IVF、HNSW、PQ(待建)
  • RRF 与 cross-encoder reranking(未单列)
  • query rewrite、decomposition 与 multi-hop retrieval(未单列)

Generation

  • context selection 和压缩(未单列)
  • grounded generation 与引用(未单列)
  • structured output(待建)

Evaluation

  • retrieval recall / ranking(未单列:RAG 评测维度)
  • faithfulness / answer correctness / citation accuracy(未单列:答案与证据验收)
  • latency、cost 与 end-to-end task success(未单列:系统级验收)

Agent 连接

先判断错误发生在哪一层

同一个“答案不对”需要不同的处理:如果文档权限或版本错误,先修数据边界;如果 gold passage 不在候选,检查解析、chunk、metadata 和 query;如果候选存在但被截断,调整 rerank/context budget;只有证据已正确进入上下文仍被误读时,才改变生成 prompt 或模型。这个顺序是本地图的主决策边界,不能用增加 top-k 作为万能修复。

三条具体学习支线

  • 文档型问答:保留标题路径、表格关系、版本和 offset,优先做证据覆盖与 citation 对齐。
  • 企业知识库:把权限过滤和索引新鲜度当作 correctness 条件,加入同名旧版本与越权文档测试。
  • Agentic / 多跳 RAG:先定义中间实体、每跳停止条件和可审计 evidence chain,再把检索放进 Agent Loop

每条支线都应从 RAG Optimization Map 回到一个可复现的数据集:保存原文、gold evidence、候选列表、最终 context 和答案。否则只看最终回答,无法知道是知识缺失还是检索链断裂。