下拉查看上一篇

Karpathy 的 LLM Wiki:用 AI 构建个人知识库的编译器范式


2026 年 4 月初,前特斯拉 AI 总监、OpenAI 联合创始人 Andrej Karpathy 在 X(原 Twitter)上分享了一个看似简单却引发行业共鸣的想法:停止把 LLM 当作搜索引擎,开始把它当作知识编译器。这条推文获得了超过 1,700 万次浏览,随后他在 GitHub Gist 上发布了详细文档「llm-wiki.md」,4 天内收获了 5,000+ Star 和 2,380+ Fork。

核心理念:编译而非检索

Karpathy 的核心论点直指当前 RAG(检索增强生成)范式的局限性:

传统方式:每次提问时,LLM 从原始文档中重新检索相关片段,临时组装答案。知识不积累,每次查询都是「从零开始」。

LLM Wiki 方式:LLM 像编译器一样,将原始资料一次性编译为结构化的 Markdown 知识库,并持续维护。交叉引用已经建好,矛盾已经标注,综合分析已经反映了所有已摄入的信息。

他用了一个精准的类比:「Obsidian 是 IDE,LLM 是程序员,Wiki 是代码库。」

这种范式转换的关键在于「编译」一词——将非结构化的原始数据转化为结构化的、可导航的知识图谱,且这个过程是增量的、可持续的。

三层架构

Karpathy 的框架由三个清晰的层次组成:

第一层:原始资料(Raw Sources)——不可变

这是你的策展收藏:文章、论文、PDF、图片、数据文件。LLM 只读取、不修改这些文件。它们是你的事实来源。

实际操作中,原始资料通过以下方式进入系统:

  • 使用 Obsidian Web Clipper 浏览器扩展将网页文章转为 .md 文件
  • 从 arXiv 下载的论文 PDF
  • GitHub 仓库的 README 和文档
  • 任何你认为值得长期保存的信息源

知识图谱网络示意

第二层:Wiki(LLM 所有)——持续更新

这是 LLM 生成并维护的 Markdown 文件目录:摘要页、实体页、概念页、对比页、综合分析页。你读它,LLM 写它。

一个原始资料被摄入时,可能触及 10-15 个 Wiki 页面的更新。例如,一篇关于新 GPU 架构的论文可能同时更新「GPU 架构演进」「内存带宽瓶颈」「训练效率优化」等多个页面。

在 Karpathy 自己的实践中,一个深入研究的主题领域大约产生 100 篇概念文章,总计约 40 万字,全部带有反向链接和交叉引用。

第三层:Schema(协同演进)——配置文件

一个配置文档(如 CLAUDE.md 或 AGENTS.md),告诉 LLM 知识库的结构约定、命名规则和工作流程。你和 LLM 在实践中共同迭代这个文件。

这一层的存在使 LLM 从「通用聊天机器人」变为「纪律严明的知识库维护者」。

四个操作阶段

整个系统运行为一个持续循环:

阶段一:摄入(Ingest)

将原始资料放入 raw/ 暂存目录。可以逐个处理(有监督),也可以批量处理(较少监督)。LLM 读取每个资料,提取关键信息,整合到现有 Wiki 中。

阶段二:编译(Compile)

LLM 增量构建结构化 Wiki:

  • 创建索引文件(含简短摘要),作为查询的入口
  • 生成概念文章,含反向链接和交叉引用
  • 产出衍生内容:Marp 幻灯片、matplotlib 图表
  • 自动维护概念之间的链接图

阶段三:查询与增强(Query & Enhance)

在 Obsidian 中浏览 Wiki(利用图谱视图),使用 Q&A Agent 进行跨文章的复杂研究问题。输出可以是 Markdown、对比表格、幻灯片或图表。

关键洞察:好的查询结果会被归档回 Wiki 成为新页面——「探索本身也会复利积累」。

阶段四:校验与维护(Lint & Maintain)

LLM 定期对 Wiki 进行健康检查:

  • 扫描矛盾信息
  • 识别过时声明
  • 发现孤立页面
  • 通过网络搜索补充缺失信息
  • 建议新的研究方向

为什么不需要向量数据库

Karpathy 明确指出:在个人规模(约 100 篇文章)下,不需要嵌入向量、向量数据库或 RAG 基础设施。索引文件 + LLM 的上下文窗口就足够了。

这是一个反直觉但务实的判断。当前的 LLM 上下文窗口已经足够大,而个人知识库的规模远小于企业级知识管理系统。与其投入精力搭建复杂的 RAG pipeline,不如让 LLM 直接维护一个人类可读的 Markdown 目录。

他推荐使用 Tobi Lutke(Shopify CEO)开发的 qmd 工具作为本地搜索引擎,支持 BM25 和向量混合搜索,但这只是辅助而非核心。

推荐工具栈

工具 用途
Obsidian 浏览和导航 Wiki(图谱视图)
Obsidian Web Clipper 将网页文章转为 Markdown
Claude Code / OpenCode / Codex 知识「编译器」——构建和维护 Wiki
qmd 本地 Markdown 搜索引擎
Marp 从 Markdown 生成幻灯片
Dataview(Obsidian 插件) 基于 frontmatter 的结构化查询
Git Wiki 的版本控制(它本质上就是一个 Git 仓库)

典型使用场景

Karpathy 列举了多个适用场景:

  • 个人成长:目标追踪、健康管理、心理学笔记
  • 深度研究:跨越数周甚至数月的主题调研
  • 阅读伴侣:为正在阅读的书构建知识 Wiki(如个人版的 Tolkien Gateway)
  • 团队知识库:从 Slack 消息、会议记录、项目文档中自动构建
  • 竞品分析、尽职调查、旅行规划、课程笔记、兴趣深挖

他特别提到了一个触动人心的社区案例:有人用这套方法,从已故母亲的著作中构建了一个「活的纪念 Wiki」。

与 Vannevar Bush 的 Memex 遥相呼应

Karpathy 明确将 LLM Wiki 与 Vannevar Bush 在 1945 年论文《As We May Think》中提出的 Memex(记忆扩展器)概念进行了关联:

「Bush 无法解决的问题是:谁来做维护工作?LLM 解决了这个问题。」

Memex 的愿景是一个个人化的、可检索的、不断积累的知识存储系统。80 年后,LLM 终于填补了其中最关键的缺失——自动化的知识整理和维护。这不是技术上的巧合,而是一个长期愿景的渐近实现。

社区反响与争议

LLM Wiki 的提出引发了即时且大规模的响应:

积极方面:

  • 原推文 1,700 万+ 浏览
  • GitHub Gist 4 天内 5,000+ Star
  • 数天内涌现了 CacheZero、Cabinet、SwarmVault、LLM Wiki App 等多个开源实现
  • Hacker News 讨论获 294 票和 92 条评论

质疑方面:

  • 幻觉永久化:如果 LLM 在编译过程中产生幻觉,错误信息将被「刻入」Wiki 并在后续编译中持续强化
  • 规模上限:有用户报告在 4,000+ 笔记时遇到了上下文窗口和维护效率的瓶颈
  • 信息茧房:LLM 倾向于强化已有观点,可能导致知识库缺乏对立视角

这些批评是合理的,但 Karpathy 的框架在第四阶段(校验与维护)中已内置了部分应对机制——通过主动扫描矛盾和补充缺失信息来对抗偏差。

总结

Karpathy 的 LLM Wiki 不是一个产品发布,而是一个思维框架的提案:将 LLM 从「即问即答的搜索引擎」重新定位为「增量构建知识的编译器」。其核心价值在于三点——知识复利积累、人类策展与 AI 维护的分工、以及 Markdown + Git 的极简技术栈。

对于信息过载时代的知识工作者而言,这套框架提供了一个可操作的路径:不是囤积信息,而是将信息编译为知识;不是依赖搜索,而是构建一个持续进化的个人知识图谱。至于它能否真正替代传统的笔记方法,答案可能因人而异——但这个方向本身值得认真探索。

参考来源

评论

上滑查看下一篇