📌 一句话摘要
本文是作者关于 AI Native 的深度随笔,提出核心观点:AI Native 的本质应是「Human as a Copilot for AI Model」,即人做模型的副驾驶,而非模型做人的副驾驶。
📝 详细摘要
这是一篇以随笔形式展开的技术思考文章。作者首先分享了自己回避复杂人际关系、专注技术、不争名利的个人态度和经历,包括在思科做 AI Infra 的遗憾、当前在 DPU 领域的技术积累与成就。随后切入正题,探讨「什么是 AI Native」。作者批判了当前流行的「Copilot」概念,认为其不够 AI Native,并提出核心观点:AI Native 应定义为「Human as a Copilot for AI Model」,即首先承认模型比自己聪明,不把个人经验强加于模型。作者以自身量化交易和代码竞赛经历佐证,并引申到模型架构(倡导稀疏化、降低访存)、算法层面(指出深度学习数学基础陈旧)、工程细节的重要性。文章还结合 NVIDIA GPU 架构演进、Sutton 的《苦涩的教训》、DeepSeek 和 Anthropic 的研究方向进行讨论,表达对 AI 芯片架构未来方向的思考。整体上是一篇融合个人感悟与技术洞察的深度思考文。
💡 主要观点
- AI Native 的本质是「人做模型的副驾驶」,而非模型做人的副驾驶。 作者认为当前「Copilot」概念不够 AI Native,真正的 AI Native 要求人首先承认模型比自己聪明,不将过往经验强加于模型,而是作为辅助者引导模型发挥能力。
- 模型架构应遵循「算力易 Scale,访存难 Scale」的第一性原理。 作者以 DeepSeek 的 MoE、Finegrain MoE、MLA/NSA 等演进为例,说明优秀的模型架构应围绕稀疏化和降低访存设计,而非盲目追求算力扩展。
- 深度学习算法的数学基础停滞在 19 世纪,需引入近代数学成果。 作者指出当前深度学习依赖微积分和线性代数,而代数拓扑等近代数学成果尚未融入主流,这是算法研究的重大缺陷,也是组织分工的瓶颈。
- 工程细节与算法品味同等重要,缺乏工程洁癖会限制研究深度。 作者认为好的基模团队不仅要有算法研究,还要有对工程细节的极致追求。算法洁癖和工程洁癖都是重要的研究品味,忽视「脏活」会导致职业发展受限。
💬 文章金句
- AI Native 的定义应该变成 Human as a Copilot for AI Model
- 首先承认模型比自己聪明,不要把自己过往的任何经验用来指导模型。
- 真正的智能是靠小镇做题家那样的刷题能刷出来的么?或许还是要靠更多更扎实的研究。
- 算力本身是可以很容易 Scale 的, 但是访存是很难进行 Scale 的
- Sutton 那篇《苦涩的教训》,实质上这篇文章就是在谈 AI Native