Cosmos 3 与“造市场”：刘洺堉的世界模型、研究管理和英伟达方法论

这不是一场只追求模型第一名的访谈，而是一套把研究变成基础设施、把基础设施变成新市场的完整逻辑

本文综合：刘洺堉把自己的二十年研究路径概括为三个扩展——从数学优雅转向真实问题，从完成工作转向让组织理解其价值，从个人成果转向让数百人围绕同一 mission 做出分布式决策。Cosmos 3 正是这种方法的集中体现：以 language、image/video、audio 与 action 描述同一个物理世界，用统一的世界基础模型为机器人、自动驾驶和工厂开发者提供 Better Data、Better Starting Point 与未来可能的 Better Environment。英伟达的商业回报并非把所有下游产品据为己有，而是扩大在其计算与软件生态上生长的 Physical AI 市场。这个逻辑有明确边界：模型统一不等于所有客户场景统一，开放也不等于没有平台利益；多项行业判断仍是受访者的预测，而不是已经发生的结果。

TL;DR

两分钟读完

从 GAN、Sora 触发的反思到 Physical AI：一场关于研究选择、统一多模态模型、组织协作与长期主义的 3 小时 36 分对谈

一句话

刘洺堉用 Cosmos 3 说明一种“研究即基础设施”的路线：统一理解、生成、仿真和 action，开源给 Physical AI 开发者，并用 mission、快速迭代与长期投入把数百人的研究组织聚合起来。

他把 DALL·E 与 Sora 视为两次提醒：资源并非唯一瓶颈，更关键的是研究者能否及时看清方向、形成决心并说服组织投入。
Cosmos 的目标不是替创作者生产内容，而是为 Physical AI 提供世界基础模型；其核心问题是让系统在训练数据之外仍能泛化。
Cosmos 3 将原先分立的 prediction、reasoning、transfer、perception 与 policy 方向收敛为一个跨语言、视觉、音频和 action 的 omnimodal 模型。
双塔 Mixture-of-Transformers 是当前工程取舍：reasoner 处理离散理解，generator 处理连续生成；刘洺堉同时认为长期架构还会继续简化。
团队管理的核心张力是“目标一致、决策分布式”：如果只有少数人能决定，组织太慢；如果人人能决定但目标不同，项目会发散。
他预测基础模型能力会逐渐扩散和收敛，长期差异来自产品、生态与具体问题；这是一项判断，不是已被证明的市场终局。
英伟达对 Cosmos 的定位是帮助生态共同把 Physical AI 市场做大，而不是消灭世界模型公司；开源模型与 GPU 平台收益因此可以同时成立。

THE ARGUMENT

整期内容的一条主线

STEP 01

先从真实痛点定义研究

不以论文 novelty 或单一 benchmark 为终点，而是确认机器人、自动驾驶与工业开发者缺少什么数据、先验和环境。

STEP 02

把共同结构压进 Foundation Model

让语言、视觉、声音和 action 成为描述同一物理世界的互补信号，以扩大数据上限和可迁移表示。

STEP 03

减少模型数量与使用复杂度

从 Cosmos 1 的多条产品线逐步收敛到 Cosmos 3 的统一模型，降低选择、维护、部署和迭代成本。

STEP 04

用开放能力放大生态

公开模型、代码、训练框架与部分合成数据，让资源不足的 Physical AI 团队能从更高起点做领域 specialization。

STEP 05

让组织围绕 Mission 自主执行

持续解释最终图景、提高信息透明度并允许可修正的错误，使数百名参与者可以在局部做决定而不偏离共同目标。

DEEP DIVE

内容提炼

从 GAN、Sora 触发的反思到 Physical AI：一场关于研究选择、统一多模态模型、组织协作与长期主义的 3 小时 36 分对谈

0100:02–00:29

英伟达为什么自己做研究：基础设施必须提前理解未来应用

受访者主张公司战略

刘洺堉称，芯片和计算架构有很长的规划周期；基础设施公司若不亲自探索应用，就难以知道未来客户真正需要什么。他回顾 Deep Imagination Research、GauGAN、数字人和 Picasso AI Factory，说明研究如何逐步从论文演示走向可供客户使用的能力。

节目中称其直接团队约 80–90 人，跨团队参与 Cosmos 的规模约 200–300 人；这是受访者给出的数量级，不是人员名册审计（约 00:04–00:06）。
DALL·E 出现后，他向 Jensen Huang 争取约 1,000 张 A100，并与 Getty Images、Shutterstock 形成数据与模型合作（约 00:12–00:17）。
Sora 让他再次反思判断与执行时机，并推动生成式研究团队共同向公司提出 world simulator 方向；对 OpenAI 后续资源分配的解释是他的外部推测（约 00:17–00:22）。
开源模型在他看来不是与客户抢 solution，而是替具身智能公司分担通用模型成本，让其资源集中在硬件、领域数据和商业落地（约 00:24–00:28）。

企业研究的正当性不只来自前沿论文，还来自它能否减少基础设施决策与未来应用之间的信息差。

0200:29–01:02

意外进入 AI：从传统视觉、GAN 到 Diffusion 的二十年迁移

个人经历研究方法

刘洺堉从台湾交通大学的无线通信训练出发，经 Intel 实习接触计算机视觉，到马里兰大学博士与三菱电机研究院进入传统视觉和生成模型。面对 ImageNet、GAN、Transformer 与 diffusion 的范式迁移，他的结论不是过去工作白做了，而是不同算力与数据条件下合理路径不断逼近更简单的本质。

他将重要转变归纳为：不再为漂亮数学远离现实；重视解释与“销售”研究价值；学会让大团队围绕同一目标协作（约 00:42–00:49）。
GauGAN 的经历让他看到，易懂的命名、实时 demo 和用户反馈能让研究影响远超阅读论文的同行（约 00:49–00:54）。
从 Coupled GAN、image translation、vid2vid 到 diffusion，他反复强调 scalable approach、数据和基础设施；对 GAN 的稳定性与规模上限判断促成团队转向（约 00:54–01:01）。
他把实习生合作比作 idea 在不同头脑间快速流动，并提到 Tim Brooks、Tero Karras 等同事或后辈对自身研究的反向影响。

研究生涯的连续性不在于永远坚持同一算法，而在于保留问题意识，并在条件变化时敢于替换实现范式。

0301:02–01:21

如何拿到 GPU：先证明研究与公司长期利益同向

职业经验资源配置

加入英伟达最初是因为他相信计算并希望接近 GPU，但公司内部的算力同样稀缺。获得资源需要把研究愿景翻译为公司的应用、客户和长期平台价值，而不只是强调学术新颖性。

他从三菱电机研究院的兴衰中观察到，完全自由的 blue-sky research 在公司方向变化时会承压；研究与业务兴趣并非天然冲突，但需要主动建立连接（约 01:09–01:15）。
研究结果只有模型还不够，必须与产品、数据、软件栈和客户分发形成正循环；他以 Google 的应用生态说明纯模型优势可能收敛（约 01:15–01:19）。
创业公司不宜在资本与客户都不占优时复制前沿实验室，而应寻找大公司因经济尺度或组织约束无法解决的痛点（约 01:19–01:21）。

资源争取不是包装，而是迫使研究负责人说明：若项目成功，组织、客户与平台分别获得什么。

0401:21–01:37

从研究员到 VP：Stay grounded 与长期优先级

研究领导力个人经验

随着人员、计算和任务规模扩大，刘洺堉把 VP 的职责描述为识别最重要的问题、保持技术接地气，并在公司长期方向中持续积累信任。他仍阅读论文、review code 和 challenge idea，避免管理层与底层问题脱节。

他称自己可能是英伟达首位由研究员一路晋升为 VP 的案例，并把原因归于早期 AI 建设、研究落地与持续获得公司信任（约 01:24–01:27）。
从导师 Rama Chellappa、实习 mentor 到 Tero Karras，他强调沟通、专注和把一个 idea 做到极致的影响（约 01:28–01:31）。
对 Jensen Huang 的观察集中于 first principles、长期投资、快速 prioritization 和持续学习；这些是受访者的个人观察（约 01:31–01:35）。
武术、站桩与冰浴被他用作体力和心智训练，但它们属于个人习惯，不应被解读成普遍有效的工作法。

技术管理者的杠杆来自优先级和组织判断，但判断质量仍依赖持续接触代码、实验和使用者。

0501:37–01:51

Cosmos 的诞生：为 Physical AI 建立 Better Data、Starting Point 与 Environment

产品定义受访者主张

Cosmos 在 Sora 之后于 2024 年启动，定位从内容创作明确转向 Physical AI。刘洺堉把 world foundation model 的作用拆为三层：生成训练中缺少的数据，提供包含物理模式的预训练表示，以及最终提供可并行交互的高保真虚拟环境。

他认为 Physical AI 的共同核心是泛化：机器人能否把有限示范迁移到从未见过的环境、物体和任务（约 01:37–01:40）。
“Matrix”是对第三层愿景的具象比喻：让系统在大量安全、可控的虚拟环境里通过交互加速学习；节目也承认这一层尚未真正实现（约 01:38–01:40；03:24–03:27）。
世界模型可以服务预测、理解或三维重建，定义会随用途变化；Cosmos 自称 Foundation Model，是因为它试图成为不同下游世界模型的共同基座（约 01:44–01:49）。
英伟达投资其他 world-model 公司与自建 Cosmos 在其平台逻辑下并不矛盾，但这种“共同成功”仍与扩大 GPU 生态的商业利益一致。

不要先争论世界模型的唯一词义；先说明它为哪个物理任务提供数据、表示、预测或交互环境。

0601:51–02:36

从 Cosmos 1 到 3：用一个 Omnimodal Model 收敛多条路线

技术架构工程复盘

Cosmos 早期分别探索 Predict、Reason、Transfer、Perceive 与 Policy。随着团队确认这些任务都在压缩和表达同一世界，以及模型过多会拖慢维护和迭代，Cosmos 3 转向统一的 language、vision、audio、action 模型。

刘洺堉用“减少陈列反而提高选择效率”的比喻复盘 22 个候选模型造成的用户困惑与维护负担（约 01:57–02:01）。
Cosmos 3 采用双塔 Mixture-of-Transformers：离散 reasoner 支持理解，连续 generator 支持生成；这种分离也降低客户只做一侧 post-training 时的能力干扰（约 02:11–02:18）。
将 audio、video 与 action 合并的依据是它们提供互补监督，例如接触声帮助定位事件发生时刻，预测 future state 可以辅助 action 学习（约 02:06–02:11）。
他否认存在单一 secret sauce，把大模型研发描述为假设、控制实验、记录、调整数据比例与反复验证；技术报告的贡献也包含把细节做全、开放和规模化（约 02:03–02:05；02:18–02:21）。
统一模型仍不是终局：更简单的一塔架构、部署成本、领域 specialization 与实际客户可用性之间仍需权衡。

“统一”真正有价值的部分不是概念漂亮，而是它能否同时提高效果、减少维护面并保留客户可适配性。

0702:20–02:44

评估、数据与 Physical AI 的 ChatGPT Moment

技术限制未来预测

世界模型难以只靠固定 benchmark 评估。刘洺堉提出 benchmark、arena 与真实 partner task 三层评估，其中第三层在不同形体、传感器和任务高度异构的 Physical AI 中尤其重要。

数据被分为 navigation 与 manipulation；后者受不同机器人本体限制，因此 Cosmos 3 特别吸收第一人称视角与人手操作数据作为较通用的桥梁（约 02:22–02:27）。
模型按期发布时尚未完全收敛，部分实验被留到 3.1、3.2；这是快速迭代带来的显式取舍（约 02:28–02:30）。
他把 Physical AI 的 ChatGPT Moment 定义为社会清楚看到一个以 AI 为核心、具有明显实用价值的物理应用，而不是某个模型单独达到指标（约 02:33–02:35）。
“今年或明年可能发生”是乐观愿望而非可靠时间预测；人形、轮式或混合形态最终仍受运营与硬件经济性约束。

Physical AI 的里程碑应由真实任务上的泛化和经济效用定义，而不是只看视频 demo 或模型榜单。

0802:44–02:47

下一个 CUDA 不是单一模型，而可能是整套 AI Stack

平台战略历史类比

刘洺堉认为 Nemotron 与 Cosmos 都可能承担未来软件基础层的一部分，但谨慎拒绝把任一模型直接等同于 CUDA。未来平台还需要 serving、训练基础设施、领域软件和部署工具共同组成。

CUDA 的成功既来自早期通用加速计算下注，也来自不断寻找 scientific computing、deep learning 等关键 application。
复制历史表面路径并不能复制成功；更重要的是根据当下环境用 first principles 判断最需要补齐的层。

平台护城河通常是模型、工具链、硬件与开发者生态的组合，不能由一个“下一个 CUDA”的标签替代。

0902:47–03:12

Mission is the boss：信任、透明与分布式决策

组织文化管理方法

访谈后段从 Jensen Huang 的管理转向英伟达组织机制：长期投入、Top-5 信息流、尽量通过转型保留员工，以及让正式汇报线之外的人随 mission 重新组合。刘洺堉把 Cosmos 的组织设计概括为共同图景加局部自治。

他称英伟达在自己任职期间没有经历公司级裁员，并以疫情期削减差旅和工具为例；这是个人经历陈述，不等同于对全球所有用工变化的独立核验（约 02:53–02:57）。
不以内部赛马为默认机制，有助于互信和协作，但代价是旧技能向新方向转型可能更慢（约 02:56–02:59）。
Cosmos 让跨组织成员围绕 mission 聚合；Top-5 Email 则让微弱信号更容易跨层传播（约 03:00–03:03）。
大团队的管理难点不是让所有人服从，而是让成员理解约 90% 的共同目标、在容错范围内快速决定并修正错误（约 02:30–02:33）。

分布式决策不是取消管理，而是把目标、信息和错误修正机制做到足够清晰，让更多人能做出一致方向的局部判断。

1003:12–03:36

模型竞争不必是鱿鱼游戏：从击败对手转向创造增量市场

行业判断创业观点个人哲学

刘洺堉预测模型能力与训练 know-how 会逐步扩散，持续差异来自生态、产品和未被大公司解决的具体需求。他把 Cosmos 的任务描述为“造市场”：让更多 Physical AI 公司成功，进而创造原本不存在的计算需求。

他肯定 DeepSeek、千问、豆包、Kimi、MiniMax 等中国模型团队，并认为广泛招收实习生有利于 know-how 扩散；这是一项行业观察（约 03:18–03:21）。
“模型能力会收敛”是他基于人才流动、数据和算力扩散作出的预测；领先实验室仍可能通过时间、资本、产品和生态保持差异（约 03:22–03:24）。
他认为 Physical AI 在中国具备硬件制造和软硬一体快速迭代优势，在美国则较少公司自建本体；最终商业结果仍取决于资本与运营模式（约 03:25–03:28）。
给年轻研究者的建议是不要被“明年 AI 就结束”式叙事催促，冷静寻找值得长期投入的真实问题（约 03:29–03:31）。
开源并不消除平台动机：如果机器人市场从零增长，模型、应用、硬件和芯片供应商都可能获益；这正是 zero-billion-dollar business 的含义（约 03:33–03:35）。

真正可持续的差异化不是把所有人拖进同一场模型淘汰赛，而是找到独特问题、形成产品闭环，并创造新的价值池。

OPEN QUESTIONS

尚未解决的张力

本页基于《张小珺Jùn｜商业访谈录》原始中文音频整理。音频总长 12,972.7 秒，被切为 11 个约 20 分钟分段，使用火山方舟 Doubao-Seed-2.0-lite-260428 的原生音频理解能力完成转写；本次转写统计为 input 83,088、output 40,057、total 123,145 tokens。未使用 Whisper。随后依据节目标题、节目说明、NVIDIA 官方人物页、Cosmos 3 官方技术页及上下文，对刘洺堉、张小珺、GauGAN、Shutterstock、Bryan Catanzaro、Jim Fan、Jeremy Bernstein、Muon、Mixture-of-Transformers、Nemotron、Alpamayo、Thor、Triton、vLLM 等明确专名做规则校订；没有把口语改写为书面语，也没有对整段内容进行音频级逐词人工复核。自动转写仍可能误识别中英文混说、论文名、人名、缩写、数字和断句，精确引用请回到原音对应时间点。摘要将本人经历与公司内部观察标为“个人陈述”，将 OpenAI 资源变化、模型能力收敛、Physical AI ChatGPT Moment 等标为“推测或预测”，将跨章节因果链标为“本文综合”；这些内容不构成对相关公司战略、组织政策或技术效果的独立审计。

开放生态与平台商业利益

Cosmos 模型、代码和训练细节开放，目标是帮助整个 Physical AI 社区成功VS社区规模扩大也会增加对 NVIDIA 计算、软件和部署栈的需求

二者并不逻辑冲突，但“帮助客户”不是无利益关系的慈善叙事。判断合作价值时应同时看开放许可、迁移成本、硬件依赖和下游实际收益。

统一 Foundation Model 与异构机器人

语言、视觉、音频和 action 描述同一世界，统一训练可提高表示和数据上限VS每个本体、相机布局、控制空间与任务不同，统一模型仍需领域数据和 post-training

统一更适合作为可迁移起点，而不是开箱即用的万能 policy。评估应包括适配成本、数据量、部署延迟和真实任务成功率。

快速迭代与长期马拉松

团队受 DeepSeek 启发，追求半年级版本迭代并在未完全收敛时按期发布VSJensen 又强调 pace your steps、Cosmos 97 和几十年的长期投入

两者可以通过稳定 mission 与短周期版本共存：长期方向不频繁摇摆，局部模型和实验则高频验证。风险在于 deadline 是否持续牺牲关键验证与使用者质量。

技术第一与真实影响

Frontier performance 能证明团队具备顶尖研发能力，也更容易获得关注VS榜单第一会迅速更替，真正贡献取决于谁使用、解决了什么问题

不必放弃性能，而应把它视作约束之一；同时追踪 adoption、time-to-solution、下游增益和长期维护成本。

目标一致与个人自治

集中决策能保持架构和方向一致VS数百人项目若每项决定都上收，会被负责人知识与时间上限卡住

节目给出的解法是共同愿景、透明信息、频繁沟通和可修正错误，但没有量化会议成本或决策质量；组织需要为哪些决定下放、何时升级建立明确边界。

SO WHAT

可执行启示

Physical AI Builder

把目标任务拆成 Better Data、Better Starting Point 和 Better Environment，先确认当前瓶颈属于哪一层，再决定是否引入 world foundation model。
建立真实 partner task 评估：除 benchmark 外，记录跨环境成功率、适配数据量、sim-to-real gap、延迟与单位任务成本。
把 Cosmos 之类基础模型当可 post-train 的起点，预先评估本体、传感器、action space 与部署硬件造成的适配工作。

Research Lead

在资源申请中同时写清技术假设、客户痛点、平台价值、失败条件和下一次可验证里程碑。
为大项目发布一页共同图景与不可变约束；列明可由子团队自主决定、需要跨团队评审和必须升级的事项。
减少重叠模型与维护面，比较统一方案是否真的提高结果、复用率、迭代速度和用户选择效率。
保留与代码、实验和用户的固定接触面，避免管理层只从 slide 与 leaderboard 获取信号。

研究者与创业者

不要把与资金更雄厚实验室复制同一基础模型当作默认战略；寻找其组织尺度、客户结构或经济模型无法覆盖的问题。
把 communication 当作研究产出的一部分：用用户语言解释问题、展示可复现实验，并让利益相关者理解采用成本。
在范式迁移时重查哪些约束已经变化；过去因算力、数据或稳定性不可行的题，可能需要重新判断。

读者

把 OpenAI、模型收敛、Physical AI 时间点等内容标为受访者判断，不改写成已确认事实。
引用团队人数、GPU 数量或公司文化时回到对应时间点核对，并与官方资料或其他来源交叉验证。
需要逐字引用时先听原音；本页转录虽做专名校订，仍可能有口音、英文术语和断句误差。

CHAPTERS

节目时间轴

从 GAN、Sora 触发的反思到 Physical AI：一场关于研究选择、统一多模态模型、组织协作与长期主义的 3 小时 36 分对谈