Karpathy's LLM Wiki 方法论深度报告

作者：Andrej Karpathy（OpenAI 创始成员、Tesla AI 总监、斯坦福 CS231n 课程创始人）

来源：https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f

生成时间：2026-04-15

---

一、背景：为什么 RAG 不够用了

当前大多数人使用 LLM + 文档的方式是 RAG（Retrieval-Augmented Generation）：

上传一批文件 → 问问题 → LLM 检索相关片段 → 生成答案

RAG 的本质是每次查询都从原始文档重新拼装知识，没有积累。同一个问题问5遍，L LM要重新找5遍相关内容。"好答案"无法沉淀，下次问类似问题又要重来。

LLM Wiki 的核心洞察：让 LLM 在原始文档和用户之间，构建一个持久化、不断增厚的 wiki，新文档进来后直接更新 wiki 里的相关页面，知识编译一次，之后直接用。

---

二、LLM Wiki 核心理念

"Humans abandon wikis because the maintenance burden grows faster than the value. LLMs don't get bored, don't forget to update a cross-reference, and can touch 15 files in one pass."

>

人类放弃 wiki 是因为维护成本增长快过价值。LLM 不会厌倦，不会忘记更新交叉引用，一次能改15个文件。

与 RAG 的关键对比

维度	RAG	LLM Wiki
知识存放位置	原始文档	Wiki（编译后的知识页）
合成时机	每次查询时	文档摄入时（一次性）
积累性	无，每次重头来	有，越用越厚
跨文档综合	每次重新拼装	交叉引用已建立
矛盾检测	无	有（新文档可标注矛盾）
适用规模	小规模、一次性问答	大规模、长期积累

---

三、三层架构

Raw Sources（原始文档层）

• 文章、PDF、网页、图片、数据文件
• 不可变——LLM 只读不写，永远是 source of truth
• 类似于版本控制中的 commit，任何时候都可回溯

Wiki（知识层）

• LLM 生成的 Markdown 文件集合
• 包含：摘要页、实体页、概念页、对比页、全局概述
• 全权由 LLM 创建和维护
• 用户只读，LLM 写
• 页间互相引用，形成知识图谱

Schema（规范层）

• 配置文件（如 CLAUDE.md / AGENTS.md）
• 定义 wiki 的结构、命名规范、摄入流程
• 用户和 LLM 共同演进
• 相当于 wiki 的"编码规范"

---

四、三个核心操作

Ingest（摄入）

新文档 → LLM 读取 → 与用户讨论要点 → 写摘要页到 wiki → 更新索引 → 更新相关实体/概念页 → 记日志

• 单次摄入可能涉及 10-15 个 wiki 页面的更新
• 推荐逐篇摄入，保持人工参与
• 也可批量摄入（较少监督）

Query（查询）

提问 → LLM 读索引定位相关页 → 读取页面 → 综合答案 + 引用

• 输出形式多样：Markdown 页面、对比表、幻灯片（Marp）、图表（matplotlib）
• 关键：好答案可以写回 wiki 作为新页面，探索结果也能积累

Lint（健康检查）

定期让 LLM 检查 wiki 健康度：
  - 页面间矛盾说法
  - 被新文档 supersede 的旧观点
  - 孤立页面（无 inbound links）
  - 重要概念未被独立建页
  - 缺失交叉引用
  - 可通过网络搜索填补的数据空白

---

五、两个特殊文件

index.md（内容目录）

• wiki 内所有页面的清单：链接 + 一句话摘要 + 元数据（日期、来源数）
• 按分类组织（实体/概念/来源等）
• LLM 回答问题前先读索引找相关页面
• 在中等规模（~100来源，数百页）下效果出奇地好，无需向量检索基础设施

log.md（时间线日志）

• append-only 操作记录（摄入/查询/lint 通过）
• 统一前缀格式：## [2026-04-02] ingest | Article Title
• grep "^## \[" log.md | tail -5 快速查看最近动态
• 提供 wiki 演化的完整时间线

---

六、推荐工具链

工具	用途
Obsidian	Wiki IDE，可视化 graph view，天然支持 Markdown
Obsidian Web Clipper	浏览器插件，一键将网页转 Markdown
qmd	本地 Markdown 搜索引擎，BM25/向量混合搜索 + LLM 重排，有 CLI 和 MCP server
Marp	Markdown 幻灯片格式，Obsidian 有插件支持
Dataview	Obsidian 插件，查 page frontmatter（标签、日期、来源数）生成动态表
Git	Wiki 就是 Markdown 文件的 git 仓库，版本历史、分支、协作都免费获得

Karpathy 本人的用法：左边 LLM agent，右边 Obsidian。LLM 根据对话做编辑，用户实时浏览结果——跟链接、查看 graph view、读更新后的页面。Obsidian 是 IDE，LLM 是程序员，wiki 是代码库。

---

七、典型应用场景

1. 深度研究（Research）

连续几周或几个月深入一个主题——读论文、文章、报告，逐步构建一个包含不断演化的论文的综合性 wiki。

2. 读书笔记

每读一章就 filing 一份笔记，构建角色页、主题页、情节线页以及它们之间的联系页。读完全书，你就有了一本丰富的配套 wiki。类似 Tolkien Gateway（托尔金百科），但个人积累。

3. 个人成长

追踪自己的目标、健康、心理、自我提升——filing 日志条目、文章、播客笔记，长期构建一个结构化的自我认知图谱。

4. 商业/团队知识库

内部 wiki 由 LLM 维护，来源包括 Slack 讨论、会议记录、项目文档、客户访谈。LLM 做那些没人想做的维护工作，团队 wiki 始终保持最新。

5. 竞争分析 /尽职调查 /旅行规划 /课程笔记

任何需要长期积累知识、有条理组织的场景。

---

八、开源实现案例

案例1：Astro-Han/karpathy-llm-wiki ⭐

• 定位：Karpathy LLM Wiki 的 Agent Skills 实现
• 支持工具：Claude Code、Cursor、Codex 等 Agent Skills 兼容工具
• 三个操作：Ingest（收集来源+编译 wiki）、Query（搜索+引用回答）、Lint（检查完整性）
• vs RAG：RAG 知识在 Raw 里，每次重新发现；LLM Wiki 知识编译进 wiki，长期积累
• 地址：https://github.com/Astro-Han/karpathy-llm-wiki

案例2：atomicmemory/llm-wiki-compiler

• 定位：知识编译器，Raw sources 进，interlinked wiki 出
• 灵感：完全来自 Karpathy LLM Wiki 模式
• 地址：https://github.com/atomicmemory/llm-wiki-compiler

案例3：sdyckjq-lab/llm-wiki-skill（中文）

• 定位：基于 Karpathy llm-wiki 方法论的个人知识库构建 Skill
• 特点：支持多平台，中文友好
• 地址：https://github.com/sdyckjq-lab/llm-wiki-skill

案例4：mduongvandinh/llm-wiki（越南语）

• 定位：完全自动化的个人知识库系统
• 特点：由 LLM 驱动，自动化程度高

案例5：AgriciDaniel/claude-obsidian

• 定位：Claude + Obsidian 知识伴侣
• 特点：基于 Karpathy LLM Wiki 模式的持久性、复合性 wiki 金库

---

九、为什么现在这个方法论突然重要了

2024-2025 年 Agent 大爆发，LLM 从"回答问题"变成"执行任务、长期维护"。Karpathy 的 LLM Wiki 恰好对应了这个趋势：

1. Agent 需要持久记忆：Agent session 结束后，什么都不记得。Wiki 提供持久层。

2. 长程任务需要知识积累：研究/分析类任务，不能每次都从零开始。

3. 交叉引用是真正的价值：孤立的事实不值钱，事实之间的关系才值钱。

4. 工具已经成熟：Obsidian + Web Clipper + Git + 可选 qmd，整套工具链 2025 年已经非常好用。

---

十、在我们的场景中如何落地

结合 vad-agents 项目已有的 Skill 生态，可以设计以下工作流：

用户摄入新来源（文章/文档/视频笔记）
    ↓
Agent 调用 karpathy-llm-wiki skill 的 Ingest 操作
    ↓
  → 存储到 raw/ 目录
  → 分析来源，提炼要点
  → 更新 wiki/ 中的相关页面（摘要、概念、实体页）
  → 更新 index.md 索引
  → 追加 log.md 日志
    ↓
用户查询 → Agent Query 操作
    ↓
  → 读 index.md 定位相关页面
  → 综合答案，附上引用
  → 好答案可写回 wiki 作为新页面
    ↓
定期 Lint：检查矛盾、孤立页面、缺失链接

已有的 Skill 创作经验（skill-creator）可以快速复用到 llm-wiki skill 开发上。

---

附：原版 Karpathy 语录

"I have the LLM agent open on one side and Obsidian open on the other. The LLM makes edits based on our conversation, and I browse the results in real time — following links, checking the graph view, reading the updated pages. Obsidian is the IDE; the LLM is the programmer; the wiki is the codebase."

"This idea is related in spirit to Vannevar Bush's Memex (1945) — a personal, curated knowledge store with associative trails between documents. The part Bush couldn't solve was who does the maintenance. The LLM handles that."