OpenAI 创始成员、特斯拉前 AI 总监、斯坦福 CS231n 创始人
近期他在播客 No Priors 上聊了整整 16 分钟,这期对话值得每一个关心 AI 未来的人认真听听。
因为他说的东西,和现在整个行业的方向,完全相反。
大模型 99.9% 的容量在干一件事:存储垃圾
Karpathy 抛出的第一个炸弹,是关于大模型架构的。
他说了一组数据:当前互联网训练数据中,只有 0.01% 是认知相关内容。剩下 99.9%,全是无用信息。
你没看错。0.01%。
也就是说,现在那些几千亿参数的大模型,绝大部分参数容量,用来记住了互联网上的废话。重复的帖子、低质的营销文、互相抄袭的洗稿、毫无意义的水贴,全部吃进去了。
这不是智能,这是暴力拟合。
那怎么办?Karpathy 说,蒸馏技术的效果远超预期。用大模型监督小模型,把那 0.01% 的认知核心提取出来,压缩到极小的参数规模。他说,认知核心甚至可以做到 10 亿参数以下。
10 亿参数是什么概念?跑在手机上,跑在边缘设备上,成本低几个数量级。
他还提了一个更有意思的判断:未来不会是单一大模型统治一切,而是会形成类似企业的分层架构。
最高层是能力极强的云端大模型,相当于 CEO;下层是大量成本极低的领域专用小模型,甚至可以用开源模型,相当于各个部门的执行者。多个不同能力、不同领域的模型并行协作,整体形态更接近一个有专业分工的生态集群。
不是一个人什么都会,是一个团队各司其职。
其实你仔细看现在的趋势,MoE 架构、Agent 编排框架、垂直领域模型,走的都是这条路。Karpathy 只是比大多数人更早看清了终局。
"我不想让未来人类被自动化边缘化"
聊完技术,主持人问了一个很直接的问题:你为什么离开 OpenAI 去做教育?
Karpathy 的回答也很直接:
"我一直站在赋能人类的阵营。当前多数 AI 研发方向偏向替代人类,我希望研发能赋能人类的 AI,不想让未来人类被自动化边缘化。"
这句话不是空洞的理念宣言。他有非常具体的东西来支撑。
他的核心逻辑是:如果每个人都能获得一个定制化的完美导师,一对一教学,适配你的语言、你的水平、你的学习风格,那人类能达到的成就上限会大幅提升。
已有研究证明,一对一辅导能让学生的成绩提升一个标准差。
但问题是,过去这种一对一的完美导师,只有富人请得起。硅谷精英家庭一年花几万美元请私教,普通家庭连课外班都上不起。
AI 可以把这件事的成本打到接近零。
这就是 Eureka Labs 要做的事。第一门课程叫 LLM101n,本科技术方向水平,面向全球 80 亿人,支持多语言。不是做入门科普,是正经教你怎么从零训练自己的大模型。
他也说得很坦诚:当前 AI 的能力还不足以独立生成优质课程。所以采用人机分工的模式,人类教师在后台设计课程和教学材料,AI 作为前端对接学生,适配不同语言和水平。
不吹牛,不画饼,一步一步来。
学习这件事,性质要变了
这可能是整期播客里最值得认真想的一个观点。
Karpathy 把学习分成了两个时代:
前 AGI 时代,学习是为了实用。好好读书,考个好大学,找个好工作,实现阶层晋升。学习是工具,是手段,是不得不做的事。
后 AGI 时代,学习会变成一种娱乐。
"学习就像大脑的健身,它需要付出努力,但本身也是一种特定的乐趣。"
就像你今天去健身房,不是为了活命,不是因为不去就会饿死,而是因为你享受那种变强的过程。学习也一样。当 AI 接管了大部分重复性劳动之后,人类反而有更多时间和精力去追求纯粹的智识乐趣。
而且,现有的"上学-毕业-工作"这条线性路径会被打破。技术迭代越来越快,人们会更频繁地回到学习状态,更新自己的知识体系。教育不再是人生前二十年的事,而是贯穿一生的事。
这个判断其实已经有苗头了。你看现在多少 30 多岁的人在学 AI、学编程、学新技能。不是因为老板要求,是因为他们自己想学。学习正在从"被迫"变成"主动"。
Karpathy 还提了一个很狠的观点:现有的学术传承谱系,本质上是一种圈层 gatekeeping。导师-学生关系、学术血统、推荐信网络,这些不是在传播知识,是在分配稀缺资源。
他希望 AI 教育能打破这种结构。一个非洲的学生和一个斯坦福的学生,如果能获得同样质量的教育,那学术圈的壁垒就不复存在了。
他还说了一句让我想了很久的话:"文化对人的影响,比知识教育更大。"
他在多伦多大学读的书,那里的校园文化偏向稳定就业,学生普遍追求进大公司工作,没人把创业当回事。这种氛围对人的塑造是潜移默化的。而斯坦福完全不一样,你身边的人在创业、在折腾、在试错,你也会被带着走。
如果 AI 教育能创造一种新的社群文化,让全世界的学习者形成一个追求创新和探索的网络,那这件事的价值,远超课程本身。
所以呢
Karpathy 最后给有孩子的人提了一个建议:小孩应该优先学数学、物理、计算机科学。
不是因为这些科目"有用",而是因为它们能塑造最佳的核心思考能力。80% 的时间应该投入这类需要大量训练的内容,而不是记忆类内容。这类思维训练越早开始越好,成年之后再塑造,难度大很多。
这句话从一个斯坦福 CS231n 创始人嘴里说出来,分量不一样。他自己就是这么走过来的——多伦多大学学计算机和物理,斯坦福读博研究神经网络,然后在特斯拉和 OpenAI 把技术变成了产品。
在所有人都在卷模型参数、卷融资规模、卷估值的时候,Karpathy 选了一条看起来最慢、最不性感的路。但如果你认真听完他说的话,你会发现他可能比大多数人都看得更远。
因为当 AI 足够强大之后,真正稀缺的不是技术,是能驾驭技术的人。
而培养这样的人,才是最有价值的事。












