# 150. 对英伟达研究副总裁刘洺堉的4小时访谈：功夫、Cosmos 3、开源世界模型、黄仁勋、你不需要击败所有对手｜AI 自动转写稿 > 来源：[https://www.xiaoyuzhoufm.com/episode/6a7cbeb017676351c5710266](https://www.xiaoyuzhoufm.com/episode/6a7cbeb017676351c5710266) > 说明：本稿由 AI 自动转写，未经人工逐句校对；专有名词、英文术语、断句和说话人换行可能有误。 ## 章节索引 - 00:02:35 英伟达的赌注与边界 - 00:29:57 意外、顿悟、转变 - 01:02:46 如何在英伟达拿到 GPU - 01:21:57 从研究员到英伟达 VP - 01:37:00 Cosmos 的诞生 - 01:51:39 从 Cosmos 1 到 Cosmos 3 的演变 - 02:36:33 黑客帝国 - 02:44:20 下一个 CUDA？ - 02:47:04 关于黄仁勋：Mission is the boss - 03:12:20 模型竞争不是鱿鱼游戏 ## 转写 00:00:00–00:20:00 hello 大家好我是小珺 今天我在上海谈话对象是英伟达的研究副总裁刘洺堉 我们的谈话时间是黄仁勋刚刚访华之后的一个月 洺堉给我的印象一直是穿着很朴素 背着一个有点旧的斜挎包态度很谦和 不过英伟达内部的人告诉我 他不像是一个典型的研究者 更像是一个工程上的领导者 黄仁勋给他一个评价是 GSD getting shit done 不久前刘洺堉带领团队刚刚发布了英伟达的世界模型 Cosmos 三 所以在这次访谈中我们聊了聊 Cosmos 三世界模型 同时也聊到一名研究者长达二十年的求索 而这名研究员的身份很特殊 他身处在英伟达这样一个基础设施型的巨大的系统之中 这改变了他的很多的研究思路 当然我们也很不自觉地聊了一些关于英伟达和黄仁勋的内部的故事 洺堉说做模型就要 low ego 模型竞争不应该是一场鱿鱼游戏 那接下来就是我对英伟达研究副总裁刘洺堉的访谈 Jensen 常常在讲就是他喜欢这种 zero billion dollar business 你可以是啊不赚钱 但当这个生意成功的时候必须是很 influential 的是很巨大的 嗯 经济的呃茂盛程度是根据钱多快从一个人的口袋流到另外口袋 那研究的茂盛程度应该是啊根据 idea 多快从一个人的脑袋流到另外一个人的脑袋去 我们做完 Cosmos 一的时候问那个 Jensen 要不要继续往下做 嗯 然后 Jensen 跟我说你就做到 Cosmos 九十七 其实他是一个很有纪律的人有些东西即使很重要 他会叫你 pace pace your steps 就是让你不要急 他擅长打马拉松战 他每天都觉得公司只剩下三十天的现金流 嗯 三十天后就要破产 你刚好加入英伟达十年了是 这十年你变化大吗你在英伟达的这个股票涨了多少倍了一共 hello 洺堉要不跟观众朋友们先打个招呼 线上的朋友大家好我是刘洺堉 嗯因为刚才我们也聊到你到美国了二十年然后在英伟达了十年你现在讲中文还多吗在公司里面 就是有时候会讲中文但大部分时候还是讲英文 因为大部分的时候啊团队里嗯还是很多人不会讲中文啊 嗯 然后所以沟通上就是以英文为主 但如果说在一个小组会议里面参与的都是讲中文的那很自然而然就会切换到中文模式 嗯 这次你来中国的行程是什么样的你多久会来一次中国 我现在大概是每一年回来二到三次中国 对因为我主要的啊公司给我的任务啊我个人的兴趣在 physical AI 在中国这里啊 physical AI 的发展是非常的茂盛啊很多公司啊很多研究员在做出 啊重大的突破我们在这里跟大家交流也理解下我们如何可以帮到他们 这次来感觉到有什么不一样吗跟之前这次来啊我看到是啊越来越多的啊 关于手啊灵巧手在这个关键的科技上面做出突破然后去 啊去追求下一个 Physical AI 可以达到的一些重点能力就是跟上次来我发觉就是速度非常的快 进展非常的快然后每次都学到很多东西 这应该是你第一次做一个中文的 podcast 我想能帮助观众或者听众朋友们建立一个印象 你现在在英伟达的 title 是研究副总裁 能不能介绍一下这个职位然后以及你们团队的一些构造和人数 我现在是研究副总裁另外也是 Cosmos Lab 的副总裁啊那我们的 团队呢就是研究员加工程师之所以我这里大约有八九十人 啊那另外公司还有其他的团队也是在做 Cosmos 英文叫 guided life 虽然他不直接 report 给我但是是我是整个 mission 的 overall pick 就是发号施令的人啊然后决定方向的人 所以这些人也是啊就是遵循我的指示啊就是跟这个团队一起合作把目标给推出去 整个过做 Cosmos 人应该有两到三百人之间啊这是一个啊 在英伟达里面很重大的一个啊一个专案啊我们花很多资源这样的人员投入是我们觉得需要的好做出好的成果 我看到你之前还管一个团队叫 Deep Imagination A Research Group Cosmos 是它演化来的吗它们是什么关系啊 是的嗯我大概是十年前的时候加入英伟达 那呃我在加入英伟达的时候呃我的目标就是啊 我那时候给 job talk 啊在跟英伟达推销我自己的时候 我的 job talk 讲的是那是四年前我讲的是说有一天 最主要生成视频的运算将会是 deep learning 而不会是传统的 computer graphics 在那时期啊就是电脑特效啊电影特效 啊用这种 graphics 传统的 graphic pipeline 啊去生成漂亮的 graphics 啊是主流然后我是 在领域里面早期认为就是深度学习是未来的趋势 那我记得那时候呃我跟我的 chief scientist Bill Dally 啊在那时候的 presentation 我的 presentation 里面就是讲 Deep Learning 因为它是 data driven 然后它可以做到很多传统 graphics 可以做不到的事情比如说我有一天可以把 就是小说啊当成是 input 放进这个 Deep learning 就会产出啊电影 然后呃你可以做很多啊现在传统 graphics 需要大量人力才能做出来的这些控制 那时候我呃就公司对这个东西很有兴趣我就很荣幸地加入了 NVIDIA 进去之后呢我就一直朝着这方向努力但那时期最主要的这个模型呢是 有 Generative Adversarial Network 就是对抗生成网络 嗯那我是只是领域里早期去从事这个对抗生成网络研究的人 那我就在里面一直做这方面的研究我做了几个啊我自己很感到骄傲的这个工作 啊其中一个就是嗯我是最早提出这个可以做这种我们叫做 unsupervised 或是 unpaired 的 image translation 在 AI 里面学习很多时候都靠 supervision 你要对应的啊 input 跟 output 你才可以学出这个 input output relationship 那unsupervised 就是说你并没有对应的 input output 你不并不知道这个人笑的时候是怎么样 你不知道这个啊这个马变成斑马会是怎么样 嗯 然后我们那时候是早期啊利用一些啊 information bottleneck 可以去做出这个我们叫 unsupervised image to image translation 那是我加入英伟达的时候啊英伟达并不是一个啊大家认同的 AI 公司啊 那时候深度学习还没有像现在这么的火热 那因为打传统也都是做这种 computer architecture 去设计这个啊这个 GPU 嗯 没有人在做这种比较应用端的科研 然后我等于是早期在英伟达把这个方向做起来的 那我在呃做了许多东西然后其中一个 work 叫 GauGAN 好像中文把它翻成马良神笔 像是小画家一样涂几个颜色每个颜色代表不同的语义 那你涂一涂之后啊就可以变成漂亮的山水画 然后那个 work 让我在啊等于是帮 NVIDIA 把 就是建立起一个形象不只是可以做出很好的 GPU 也可以做出很好的这个呃 AI 模型 那时候我还有些同事在一起做那个 styleGAN 方向的研究 那我们就是这群人把这个 NVIDIA 从第一批就是等于是第一个把这种生成式网络来做这种 呃 media 生成把它带起来啊那做了一段时间之后 嗯就那个公司就觉得我可以了然后我就可以开始成立自己的团队 那我那时候成立的团队就叫 Deep Imagination Research 啊就是 跟我当初给 job talk 的目标是一致是 这是哪一年 应该一九到二零年之间啊那时候我变成一个 research director 啊但 就是那时候知道自己要成立团队就跟着几个啊一起工作的伙伴然后就开始建立这个 Deep Imagination Research 那接着 Deep Imagination Research 啊之后就一直啊就是在解相关的问题就一步一步想 从这个啊就是朝着把小说放进去产生电影这个目标前进就是啊 一步一步往下走我们做了几个有趣的这种 demo 就是有一年 Jensen 我们的 CEO 他 想要用一个数字人来取代他来给这个 keynote 那时候我们就帮他做这个 假的 Jensen 这个的 keynote 的 demo 然后还有陆陆续续啊那时候是疫情期间嘛 然后在那段时间里面啊数字人的发展非常的啊 快然后我们也贡献了一些啊我们自己觉得很骄傲的 technology 我十年前在给 job talk 的时候我就想要解这个小说 变成电影这个题目嗯但啊那时候呃我觉得 这个题目可能需要很久的时间才能解啊 应该是说我那时候并没有意识到我们其实有已经有这个条件了当你的算力 啊当你的啊数据足够的时候就可以做出这样的一个大的突破那但是那时候我就忙着做数字人忙着做各种有趣的应用 到后面某一天啊 Open AI 出了这个 DALL·E 这个 work 最早的一个 text to image model 我才理解到我的野心不够大我不够勇敢没有决心去把这东西做出来 在算力最多的地方在算力最多的地方那那时候呃 Nvidia 是这样运作的啊你要 Jensen 啊投资你算力你要你要讲出来这为什么对公司重要 我记得那时候 DALL·E 出来的时候我写了一封信给 Jensen 跟他讲说 这个未来已经很明确了就是靠 Deep learning 来做这个影像生成那 NVIDIA 很多客户都是用 NVIDIA GPU 用传统的 graphics 来做这个影像生成 那我们不能在这个用 Deep learning 来做影像生成下落后我们必须投资 GPU 给给我们这个团队 去帮助这个领域啊成长 那段时间里面我跟 Getty Images 也有很多合作因为我一直在做这个方向那这些传统的 啊 content 公司他们也对这个 AI 很感兴趣但他们也就是啊就是试试看但没有没有足够多的决心 然后看了 DALL·E 之后我写一封信给 Jensen 要 GPU 写了一封信给 Getty Images 说我们应该合作 你们这样未来才有比较保障 嗯 然后啊我们就谈成了这个合作方案就是他们提供数据然后我们有算力然后我们去 build 这个 大模型来做这个啊 text-to-image 这就是我踏入大模型的这个时间点 那那时候我们成立的一个呃专案叫 Picasso 我们目标是做 AI Factory 就是啊有些公司有数据但它并没有这种AI 的人才没有这种 AI 的 infrastructure 但他们有数据他们有客户那我们就是等于帮他做一个这个 Generative AI 的模型然后再把模型 给他们让他们去服务他们客户然后彼此就是这样一起获利 那那时候就是跟 Getty Image 还有跟 Shutterstock 去做这件事情 嗯那这是这样子我还那时候还是在 Deep Imagination Research 这个团队的事情 我们在做这件事情那从这里就是慢慢的我的 research 不只是产生一个模型 不只是产生一个论文我们也产生了一个可以帮助客户成功的产品那就是这样 啊逐步的发展我当初以为我现在已经决心充足嗯然后 呃就是愿意挑战最困难的问题嗯因为已经跟 Jensen 要了 GPU 跟大 要了多少 GPU 那时候我是要了一千个啊 A100 GPU 对 当时一千张很多吗那个时候是非常的多那时候还在 Ampere 的时代 一千张已经很多那要把一千张的这个 GPU 串在一起做一个高效的训练也不容易嗯啊 这是我们那时候尝试就是当然遇到很多瓶颈然后就逐一克服 呃因为我是最早一批去做这个 GenAI 的这个就是在 computer vision 里面做 GenAI 的人 我也很荣幸就是啊就是跟很多很优秀的伙伴啊一起合作啊 因为我比较资深然后很多当时很有有为的年轻人还在学生的时代他们会来我这里做实习 然后包含现在在 Meta 的余佳辉啊然后做出这个 Sora 的 Tim Brooks 啊都在我这里实习 我还记得 Tim Brooks 刚加入我团队做实习的时候他就一直想做这个 video 生成 想做他想做的 Sora 的东西嗯但那时候我们并没有这个 technology 我们是用 GAN 一起去做合作 那时候就看到他的充满了决心嗯充满了热情然后当然是人非常的聪明然后手脚非常的快 那我跟他一起合作里面学到很多东西我们也写了一个蛮不错的论文 然后后来毕业之后呃想留住他但他去了 OpenAI 呃也很开心他在 OpenAI 那边就是获得 啊很好的发展然后后来就做出这个 Sora 这个 work 嗯那 Sora 这个 work 出来之后对 就我的我是感到非常的开心但我又觉得我的决心实在是不够 还是不够还是不够开我们那时候就几位啊就是都在做这个领域的人我们就一起和一起写了一封信给 Jensen 说 我们必须要更多的投资这就是啊 Cosmos 挖掘的由来我们这群啊学者啊我啊那时候还有 Sanja Fidler 然后还有我们公司在这个 Nemo 团团队的 Bryan Catanzaro 啊Jim Fan那时候也在这个 meeting 里面嗯我们就一起讨论我们就决定要去做这个啊这个 world model 你觉得这对公司将是对人类将是一个重要的一个科技 然后那时候啊 Jensen 就叫我啊还有 Sanja Fidler 两个一起来带这个 Cosmos 这个 effort 那时候不叫 Cosmos 啊那时候就是我们知道要做 World Simulator 然后 Jensen 呢就叫我们每个人去想要叫什么这个 project 叫什么名字我们就每个人就回去去想 就是要叫什么叫什么我已经忘记那时候有几个名字在里面选但最后 Jensen 就说叫 Cosmos 然后我们觉得 Cosmos 这个名字非常的好嗯然后呃所以这个 Cosmos 这个 project 就这样产生了 那然后我这个还是在 Deep Imagination Lab 的时期那在那个时期就是我原本是在做 Picasso 然后就是这个 AI 坊对于这个 media generation 然后但是同时又负责 Cosmos 后来觉得啊 就是 Cosmos 这个 project 反而是对公司啊对整个领域反而更加重要然后也没办法 分身乏力啊没办法同时跑两个重大的 project 啊然后慢慢就把这个 Picasso 这个 project 给收起来 那帮这些客户找到了其他可以继续支援他们的科技公司那我就全心开始做 Cosmos 那 Cosmos 做一段时间从从一做到二做到三啊这段时间里面啊使用它的客户越来越多 需要一定的规模才能去把这个 Cosmos 这个框架做好 你可以想象我在 research 时期可能就是像一个萌芽阶段当现在这个这个 Cosmos 已经被这么多人给依赖不管是外面的客户或者是公司内部的团队 到一个不能就是一定要成功的的一个阶段那所需要的资源更加的庞大 那就是在今年年初的时候我就从 NVIDIA research 离开了我现在是 report 给我们的 senior VP of software 啊我们公司最大的一个 leader 之前是汇报给 Bill Dally 对带着 Deep Imagination 团队啊我现在 report 给啊 Dwight 这是他是我们公司的第一个 software engineer 啊在 Jensen 的传记里都有他的故事啊 对那我现在 report 给他然后我离开 research 之后啊我们就换了一个名字后我就不叫自己的团队 Deep Imagination Research 啊 team 我们就叫自己 Cosmos Lab 嗯啊这是整个这样的一个变化 我听说 Sora 没有出自你的团队让你很遗憾是吗 也不是遗憾就是我是感到很开心就是啊就是自己曾经一起共事过的人可以做出这么大的一个啊贡献 感到非常的开心遗憾的是说每个研究员都想做出贡献 嗯那看到这个 Sora 这个产生的贡献这么大让自己会觉得 很开心但一方面觉得说到底是什么地方啊在我的决策过程当中 在我的判断的过程当中是哪些地方我没有看对而导致我没有在正确的时期做出正确的事情 嗯啊一点就是呃我自己一个很喜欢自我反省的人那我就是往往都会去试图理解怎么样让自己更好 因为说到 Sora 还是会想多说一句你觉得为什么 OpenAI 后来把这条产品线基本上算是关掉了 Sora 它是一个重大的一个 ## 转写 00:20:00–00:40:00 研究工作那它当然本身也有许多应用 Open AI 是一个啊很有野心的公司 然后他们有大量的人才 那Sam Altman 一直是啊从他早期在 Y Combinator 他就是一个投资者 那他当然是希望啊就是有这种投资者的心态 然后希望公司内部有各式各样的 project 有些 project 非常的成功就是各式各样的呃 portfolio 对 那我觉得在过去呃一年当中他们受到这个 Anthropic 啊巨大的呃竞争压力 他们看到 Anthropic 在 Coding Agent 上面产生了巨大的经济效应啊 你在跟 ChatGPT 聊天的时候 你产生的 token 数就是可能最多一分钟就生成完了 那你做这个 coding agent 是可以工作二十四小时 四十八小时 嗯这个 token 量非常的大 那他们就是我觉得啊就是觉得这是一个很好的方向 那就集中公司的精力 啊往这个 啊 Coding 的方向走 孙子兵法讲的备多则力寡 大家的资源啊都是有限的 那他们就是重新调整资源然后去往 Coding 这边发展 我不觉得他们认为 Sora 不是一个好的 work 只是我觉得在这个时间点他们公司有更重要的事情必须要去做嗯然后就 要做出一个不容易的决定 我很好奇啊 因为像 Anthropic、Open AI 这种前沿实验室他们做研究就天经地义 因为这就是他们的产品 但是对于英伟达这样的一个基础设施公司 或者说是一个平台公司 我卖 token 给这些前沿实验室就好了 我为什么还要自己做自己的研究呢 就是研究这件事情本身对于英伟达的意义是什么呀 你的基础设施要做得好 做得好的定义就是适合这些啊应用公司来用 那如果你自己不做这些应用 你更不能理解他们所需要的东西 所以就是要去走他们 可能会走的路从中间去理解到而且设计芯片啊设计这个这个电脑的这个架构它的周期是很长的啊你不能说我现在马上改 需要很长的一段时间来做这个规划 所以你要做这方面的研究 做他们通投资去理解到什么是可能是重要的啊问题要解 然后才能设施去可设计出更好的这个啊这芯片更好的 infrastructure 来满足这些啊 就是 AI 大公司 嗯 我总觉得这世界上如果每个想啊有抱负 有理想的人都有这个工具啊可以做出他们想做的事情 这世界是为一个更好的世界 一方面看到 Open AI、Anthropic 还有中国几家大公司做出的突破 我觉得非常开心 那我们这个社会会有源源不绝的有抱负的年轻人 我们也希望他们有他们的机会啊 就是 我们可以做出这些模型然后分享给他们 他们可以做出很好的应用 很好的衍生模型啊或是从里面获得灵感做出他们更好的模型 然后就是大家不同的想法都可以落地 然后我觉得啊当这么多多元的啊这些 idea 都有机会被被实现 然后可以被呈现给这些啊用户啊 我觉得大家选择更多 啊我觉得这社会进步会更好 那这方面为什么英伟达做开源模型的原因 嗯 那你们的研究成果会跟客户去有一些竞争关系吗 我们做这些啊其实我们做这种开源的模型 我们基本上就是无价放在啊网络上面 让大家都可以去运用 这世界上真正要落地 真正要满足客户的需求 还很多东西要做尤其在巨深领域哦 好多硬体的问题啊好多这个商业的问题都必须要解 我觉得我们给 community 一个讯号是说我们会帮助你在这方面 那当你看到这个这个趋势啊 看到我们的 commitment 我们从一代做到二代做到二点五代做到三代这样一代一代做下去 你看到我们一步一步就是想把这个地方做得更好 让你让大家都可以更加预期到说英伟达这上面会一直投资 一直进步 那让大家有这个认知 有这个信心 那他就可以把他的就是他资源投在更重要刀口上面去做出重大的贡献因为嗯 每家公司再有钱 公司资源都是有限的 嗯 那你不找到痛点 找到这个关键点去做投资 做进步的话 你是不容易脱颖而出的那去生这么的难 这么多东西要解啊 我觉得我们他做出这些模型啊 帮助他们分担部分的压力 我不觉得是在竞争 我觉得是在帮助大家成功 对为什么你们当时要立一个非常重要的项目 没有选择当时最火的大语言模型呃也没有选择像 Sora 这样的模型而是选择了具身的一个世界模型呢 大语言模型它在当时就是发展得已经非常好了然后再就是我的背景不是大语言模型 我是 Computer Vision 出身的 CV 出身 对CV 出身的那呃自然而然就是一直在这个 media 这边徘徊啊 就 image video 徘徊 那这是大概是过去的背景 啊就是把自己走向这个道路 让因为我的背景关系 所以跟着我一起合作的伙伴也都是类似的背景 所以我们就是往这方向走 这是为什么没有走大语言模型 那另外就是 Nvidia 也有很强大的大语言模型团队在那里我觉得我没有太多的贡献 啊我觉得啊这个 NeMo 创越做越好 那我这边就是主要就是想去解一些啊更适合我来解的问题 那 Sora 当初出来的时候它是也是一个 War Simulator 啊 但啊那时候主要的应用比较是像是这种啊创作嗯方面的应用 创作非常有趣啊每个人都希望可以用更好方式来讲故事啊去呈现自己想的东西就是具象化 能帮助大家去理解你看到的世界这是一个很好的应用 那那时候也看到了就是我们在这种地区都 AI 发展极大的啊非常的快 同时间社会很多问题啊需要这些 physical tool 真正能那个改变这个物理世界状态的这些 physical tool很难满足的 比如说啊就是当人年纪大的时候 就没有办法开车但没法开车整个人的啊生活品质就降低很多 但如果有自动车年纪大的人还是可以有他 mobility 再就是啊有很多工作非常啊劳力密集的啊也非常的危险 啊如果有这种 physical AI 的啊这种 robot 可以帮忙做 也可以就是改善人的生活 然后再就是家里面总是一堆琐事要收碗筷啊 要整理这些不见得是你在家里面最想做的事情 啊有机器人可以帮忙去做这件事情 提升啊人的生活品质 我们就是看到这个啊就是 World Model 可以对 physical AI 所产生的贡献 所以那时候就往这个 physical AI 方向走 而不是走这种 content creation 的路线 Jensen 对于这个团队提过什么要求没有 Jensen 对团队的要求非常的严格然后呃目标高当然第一目标就是可以帮助到客户嗯 啊这不是一件容易的事情 Nvidia 是一个运算公司 是一个AI Infrastructure 的公司啊 那我们最厉害的就是整个 Computer Stack 从这个底层硬法到 CUDA 到到一路往上 但是啊我们并不是一个 Solution 的公司就是给一个啊机械人的 Solution 嗯然后或者是啊一些其他应用的 Solution 那但我们的目标是帮助这些建 Solution 的公司成功那有时候会觉得有点像隔靴搔痒 因为你不太了解啊痛痛点在哪里 那你设计模型的时候你设计一个产品 如果你不了解你的啊客户的话 你就没办法最佳化那这就是为什么我会常来中国 原因就是想理解一下啊大家遇到的问题是什么 怎么去啊帮助他们 这是一个难处 一个深层的要求啊我们做东西是需要Make Impact Jensen 常常在讲 就是他喜欢这种Zero Billion Dollar Business 你可以是啊不赚钱但当这个生意成功的时候 必须是很Influential 的 是很巨大的 嗯 你你不能说就是满足在 就是每年赚个什么一百个 Million嗯这种 Scale 这对很多公司而言都很大了但对一个呃对英伟达这家公司而言 这并不是一个Distraction 嗯 对 是个分心 分心对是个分心啊就是你要去解最重要的问题 产生最大的贡献 然后我们觉得 physical AI 是一个够大的问题 可以产生那个最大的贡献所以在在这个方向的时候要很小心 就是要去解最重要问题 而不是去解一些啊短暂可以产生成果 但它的 impact 并不是很大那这这是其中一个问题那当然这是要做那种最好嗯那这也是很难的 呃听起来过去十年的名誉在英伟达变得越来越具有野心了 是 那接下来我也想探索一下 就是你个人的一个作为研究员的刘洺堉嗯你是怎么一步一步呃探索你的研究之路的 在回答你这个问题 我先讲想想回答之前的问题我觉得我是一直很有野心的 嗯因为我那时候就认为可以用小说直接生成电影 嗯 只是我觉得我的执行力啊不够 我的啊看时间点不够 然后我不太会去理解啊在那时候还是刚进业界不久 还不太理解怎么样做才是可以在公司中获取支持 然后获得巨大的资源去从事方向然后我觉得过去十年历练里面让我更加理解怎么样啊看清楚 在对的时机然后怎样怎样就是帮助公司理解这是对公司重要的决定 啊然后去影响公司怎么去投资那这是我觉得一个变化是一直很有野心 只是不知道怎么实行我最早呃因因为那时候成长背景嘛 我在台北长大呃然后在我读高中的时期啊最热门的科技是无线通讯那时候那个手机刚出来 嗯是巨大的手机 然后还是 Nokia 的时代啊那时候对这个科技感到非常的啊就是好奇在台北长大 啊那呃总想离开台北然后我就说就去了呃台湾的交通大学 在新竹啊那边去学习这个无线通讯 那无线通讯那边学了一段时间之后就比较理解它是怎么做的 在我的同学啊那时候一起在那个新竹交通大学求学啊学无线通讯这些同学很多人就留在台湾啊去比如说在联发科或者是有些人去台积电啊去做这些就是啊台湾本身就很擅长的工作 那我在那时候就有点怀疑啊是不是这就是我要选择的道路啊 因为啊那我从小到大其实没有想过说会去啊美国留学我 没有想过 没有想过 嗯 啊所以我其实一直不是很重视我的英文然后就是觉得啊数学物理学得好就够 那那个时期我就开始有点怀疑到底啊什么路是是对的 在大三那一年我就好奇去看看美国的研究所啊博士班在做什么东西然后我看看我自己现在那时候在台湾的交通大学做什么东西然后那时候我就发觉就是啊做的东西很不一样然后我觉得啊我那时候在算怎么样啊设计一个啊 protocol 可以让传输更加啊快 那我觉得这是一种提升 但不是一个零到一的变化啊 那我看到在美国这些啊高等学府做东西我就觉得嗯这个看起来每个成功都是一个零到一的变化 嗯 所以那时候我就啊觉得我应该出去闯一闯 然后我跟我我还记得我跟我爸妈说我要去美国留学的时候 他们就吓了一跳因为啊认他们认识我二十几年没有听过我讲说我要去美国留学这件事情 这是大二啊 大三的时候 嗯 然后所以他们听到就是还蛮震惊的呃那那时候我想去美国学习的是啊量子通讯因为我觉得这东西很神奇就是靠着量子可以直接那个把讯息传从 A 传到 B 去 但后来我到那个去美国之前 我在在台湾的 Intel 啊在里面待了一年然后认识了一个朋友 我们都在那里实习 他在那里做这个影像辨识那我就这是我第一次接触到 AI 因为之前都是学通讯 嗯 然后我看到他在做影像辨识 我觉得这很神奇它就是可以从这些 pixel 里面去判断啊里面是什么东西是谁啊是什么物件然后我就对这个呃这个 AI Computer Vision 有些啊开始有些印象 那我那时候申请到了美国马里兰大学哦 啊在那边开始我的博士 那最早期的 Computer Vision 都不是 work那最主要的那个经费研究都是国防 嗯 那马里兰离那个华盛顿特区很近啊所以那时候聚集了一些非常厉害的啊就是早期的呃做 Computer Vision AI 方向的大佬在那里 那我到那个学校之后 原本是要研究量子通讯的然后后来发现那里有做这种Computer Vision 跟我那时候在 Intel 实习看到东西很接近的这个题目 我就觉得说嗯这看起来更有趣那我就找了我的指导教授 Rama Chellappa 嗯他是这个领域里面啊是等于是先锋啊 然后我就开始跟他学习 AI Computer Vision那时候最早做第一个题目呢是从 video 里面去看这个人走路的姿态去判断是谁哇然后那是那时候也是蛮有趣的问题 那啊我就是在这样逐渐逐渐就是啊转换跑道 然后去做这个 AI 然后最早期啊去做这些啊影像辨识 Video 辨识 然后后来在博士期间还学习怎么用啊叫 Shape 啊 Matching 然后 Segmentation 这些啊常见的这个Understanding 方向的这个AI Computer Vision 啊的的研究啊嗯那这样逐渐踏进这个这个 AI 了那那时期并没有 Deep Learning啊是呃 是一个传统计算机视觉的时期 传统计算机视觉那时候什么都不 work所以什么都要学我们那时候啊做 Support Vector Machine那是一个很传统的一个 Machine Learning 的方式 Support Vector Machine 跟优化有很大的关系啊这是一个不管是连续啊离散的优化 啊 都必须要学然后也要去学习一些 Graphic Model 啊Energy Minimization 然后各式各样的啊就是这种 这种 3D Calibration 这些啊东西就学的蛮多 我觉得算是很扎实 但就是在毕业的那一年啊 ImageNet 这个 ImageNet 出来然后改变了整个世界 嗯PhD 的后期就到一家叫Mitsubishi Electric Research Laboratories 的一家公司三菱电机研究院 这是你后来的一个工作 对吧 对这是我的第一份工作 在美国的第一份工作 对这是在美国第一份工作它是在呃Cambridge 在 Massachusetts 就在 MIT 的旁边这家公司在九零年代是非常强大的一个研究单位啊那时候跟微软研究院是一争雌雄 在 GRAF 上面都是啊非常领先的一一个研究机构那MIT 里面有许多教授以前都是在那个三菱电机研究院里面当研究员嗯包含 Bill FreemanRamakant Nevatia 他们都在里面做那我加入的时候已经过那个时期但是还是很多优秀的研究员啊留下来那我进了那公司之后啊几件事情嘛那一年ImageNet 出来所以我过去学的东西就是跟未来的世界开始有些呃就 Divergence 那一刻会失落吗 不会我其实在我是对这些新的科技是很感兴趣的 因为 Computer Vision啊因为什么都不 work 所以我已经养成这个习惯什么都学 啊 什么都不 work 那时候什么都不 work 啊 然后后来 Deep Learning 啊出来之后就觉得很有趣 我还记得我那时候是博士班的最后一年了嘛等于是实验室里的大师兄然后我就组织学弟妹们啊师弟妹们去一起去要研究 Deep Learning啊就是去研究然后我还记得那时候有一位呃就师弟跟我讲说这东西只有几个人会没有必要去研究然后呃我还是没有理他 就是继续办这个这个呃研讨会 然后后来我的第一份工作是在这个三菱电机研究院嘛 那研究院啊通常就是啊研究风气就是工作比较自由 那我有很多时间啊去学习所以我在那里就学这个呃 Deep LearningGenerative Model 是呃我的指导教授 Rama Chellappa 他很相信 Generative Model他相信 Bayesian 啊就是相信你要把那个生成放在这个啊这是Understanding 的一部分好 那所以我在那时候学 Deep Learning 的时候 就就是也也在留意这个生成这一块 嗯 那后来有一年去的 NeurIPS 看到 Ian Goodfellow 的这个那个生成对抗网络的工作然后就对这个东西感到非常有兴趣嗯然后后来就开始在这方向里面就开始做大量的投资 然后越学越多这样 对你好像很早就开始做生成了 对我是最早做生成的一批研究员 哦 那时候还在只要能生成三十二乘三十二 Pixels 的脸 然后看起来不像鬼然后就觉得自己很成功 那为什么生成是理解的一部分 Richard Feynman 他讲的If I cannot create I cannot understand 就是当你可以去生成它的时候 你真正去彻底的理解它 哦这跟人的学习有点像 对是是啊 当你可以讲的时候意味着你已已经理解了 对还有早期就是 Computer Vision 也分这种呃 Discriminative Model 跟 Generative Model 嘛 嗯 ## 转写 00:40:00–01:00:00 discriminative model 是它其实没有生成能力但它可以判断这是 A 还是 B 判别式 判别式 嗯 那生成模型就是一样可以被用来做判别但是它还是包含可以去重建这个讯号啊就可以去描述它然后当你可以描述清楚的时候大家是可能认为你更加理解这个东西的对 那就是 discriminative 跟啊 generative 嗯 嗯 所以像最早期的 AlexNet 可以做 ImageNet Classification 我们就把它看成是一个判别式网络 其实你最早做了一年的工程师你觉得这个经历对你后来做 research 有影响吗 我只有在在那个英特尔做工程师吧 对以及你觉得做 engineering 和做 researcher 的本质的差异是什么呀 哪个更适合你自己 这是一个好问题嗯做 research 啊最重要一部分就是问对问题 嗯 问对问题当你问到对的问题你你就你总大概就是找对一个方向 那 engineering 等于是帮助你去去跟大家讲对这是对的问题就是要把东西做出来研究这个一个实现能力让你去做点事情那 engineering 当做大 scale 的时候还有很多东西是很重要的哈 在去美国之前的那一年做 engineering 对我影响我可能最大影响就是认知的这个有这个领域叫 AI 哦 Computer Vision 然后从中间啊我记得那时候在呃 巨大的这个 software stack 里面帮公司去找问题那这是很磨练耐心的一个啊一个过程那我觉得都是很好的训练 所以 AI 对你来说也是一场意外 对 它本来不在既定的轨迹之中 不算 不是我不是那种从小就是说我要去理解为什么人类为什么可以有这个智能的啊发生我等于是啊就是一步一步看到这东西觉得非常有趣想去理解然后 就一步一步往那个方向前进 它最初打动你的是什么呢 为什么打动我吗嗯 最初 后来当然很可有很多原因了 因为不懂 因为不懂嗯 对不懂那又比较容易去理解它的重要性就是有些科技领域像量子通讯你可能要很懂你才知道它到底是为什么重要啊这个 AI 就是很容易可以理解就是 你可以重造这个智力啊那它有些表现会跟人非常的像嗯那就很好奇因为还有就是自然上很难每个人都对自己的就是存在会产生这个困惑整个群体就是到底什么是人我们跟其他生物有什么不同 这就是一个很自然你会问的问题啊我觉得也也是因为这原因这个领域会吸引这么多人在上面做出投入 嗯 如果要找到一个早期对你研究生涯都非常重要的一个时刻你会怎么描述它它是哪个时刻它是你在做工程师的阶段还是你到美国之后 太多了 对那哪一个是最重要的嗯 或者最重要的三个呢 我觉得第一个时刻就是在早期啊我喜欢漂亮的数学在 computer vision 早期阶段什么东西都不 work 那 computer vision 运用大量的优化的算法那优化呢 就是要去找最佳解如果是连续性的呢常常会遇到这种 non-convex 的问题就是你没办法找到最佳解 那如果是离散呢就这种 NP-hard 的问题就是你也没有足够多的算力去找最佳解你还是研究出算法去找啊一个答案 但你不知道答案离最佳解有多远那为了去确保你的答案离最佳解啊不是太远就是有一定的就是保证 然后就会去证明这叫 bound 的就是也许这个最佳解啊是虽然找到答案不是佳解但他的最佳解可能就是差十 percent 啊或是差那个二十 percent 这比随便一个答案好为了去证明这个 bound 的很多时候在早期的研究啊就会开始做些假设那假设让你的数学变得比较干净可以找到答案但假设也让你离现实比较远 然后那时候早期会有点偏向于去找这个追求数学的美而去忽略跟真实世界的距离然后后来一段时间之后我理解到这不是一个正确因为 AI 本身就是一个应用就是智力就是拿来被应用的然后啊我是越来越喜欢接近这个问题的本质而不会被这些花俏的数学给迷惑 嗯 然后后来还有一个阶段就是呃可能就从小成长的背景有关就是我总是专注在把事情做出来而不专注在让别人懂你做出什么东西 然后我开始做英伟达之后就是我觉得我做的 research 不错呃蛮不错的然后在那个别人看到这些这种 image translation 之前我就把这东西做出来但我不太理解怎么去不太会去表现我做出来东西让一般人可以懂 然后我常常讲说我自己做一百分但是我的解释只有十分所以别人看到只有十分啊那时候我就更加重视如何让我做的东西让别人理解它的重要性然后让他去理解这个过程那这是我觉得啊可能一个很重要一个 lesson 那大概是我早期做 GAN 的时候 然后第三个是呃我后来理解到尤其是啊开始做大模型的时候我开始理解到团结合作是非常重要一件事情嗯 人跟人的沟通呢啊其实是一个高复杂度的问题比如说你啊我把就是叫 N square 假设你有 N 个人你跟这些另外 N 个人沟通是 N square 啊那 N square 在在那个复杂度来讲是一个不好的复杂度就是不容易 scale 懂啊就是当你很多人的时候啊就是每个都要点对点沟通就不容易比较好的就是这种 N 啊或者 linear 或者 sublinear 啊我开始知道说要做出一些巨大贡献需要大家一起团结合作的时候 噢必须要把事情讲得非常明确让大家都能懂然后大家目标能一致就是自己能把东西做出来然后也希望就是大家都能很懂自己做在做什么东西然后可以朝同一个方向前进那这地方就还需要很多就是帮助大家去理解为什么这个重要这这也是后来我做科研啊尤其是做到大的 scale 的科研里面觉得很重要一件事情 你要做应用然后你要销售你的工作然后你要团队协作 对 哎是这其实是也是你的成长的路线对吧 是啊对是当我做出的第一个啊那时候我一个很 popular 我叫 GauGAN 那时候大家都在用它就是我刚讲的马良生笔我看到用户的反馈让我充满了就是成就感那我觉得说我能影响的不只是读我 paper 的研究员嗯而是而是一些就是啊更大的一个族群然后可能就觉得自己生命更有价值然后就朝那方向前进 GauGAN是取自高更吗 对这个名字是这样那时候啊我是跟一个啊我们那个实习生啊叫那个 Tae Sang Park 啊他呃我们一直在研究这个方向然后还有从还有一起合作还有朱俊彦然后还有那个王鼎钧我们这四个就是一起在研究这个题目 那那时候我们开发出一个算法叫我们叫 Spade 就是 Adaptive Modulation 啊 Demodulation 啊这是一个算法那那时候做出来之后很开心我在那公司内部做个 demo 然后 Jensen 看到非常的兴奋 然后他问我叫什么名字我就叫 Spade 他就不喜欢这个这东西就是不容易懂 啊不是一个用户语言 啊不是用户语言 嗯 那时候就是 paper 已经写完了然后投了 CVPR 啊但还没有放在 arXiv 上面然后公司看到之后就叫我不要放 arXiv 上面让公司让 Jensen 在 GTC 那是二零一九年的 GTC 的时候可以在他的大会里面跟大家宣布 然后我觉得很兴奋啊呃很好的机会 嗯 那那他们就在想这个叫什么啊我们公司有一个啊 marketing 的 genius 就想说这叫啊因为那时候算法都是什么 GAN 什么 GAN 什么 GAN 对 那是 GAN 的时代 对 GAN 的时代 嗯 然后那个 market 它叫做那个呃 Quagga Sunset 哦然后他他就提出叫 GauGAN 高更他是法国人啊就啊就把这个名字取出来然后大家一听他的名字很合理画家著名画家然后那时候做应用也是这个啊画画这件事情然后就啊就出来了好那 呃那时候本来是在 GTC 啊他的就是宣传大会上面要去宣布的结果那一年他太多产品要介绍了他最后一刻就啊我记得我在礼拜天晚上还跟他在那边排练就是要在台上给个 demo 然后当天晚上就接收到通知说太多产品要要讲了他决定把这个 GauGAN 就不放在他的 keynote 上面 就一样是做的新闻稿一样就做做 demo 给这个媒体啊朋友去看但就没有放在这个他的大会上面哦很多媒体朋友看了之后反而是 GTC 里面最受瞩目的一个啊一个 work 然后呃就那一年就这样的啊就是很多种事然后我们做一个 online 的 app 让大家都去测试然后从里面就是大家使用里面获得很多呃就是很好的反馈然后就 就是越做越往应用方向前进 其实 GaoGAN 是不是跟你之前的研究轨迹是一步一步啊递进的它不是第一天就坐在那里因为你从博士毕业以后加入了三菱电机研究所computer vision 就进入了 GAN 的时代然后你其实围绕 GAN 做了一系列的工作包括 CoGAN CycleGAN 再是到了英伟达之后的呃比如说 GauGAN 这一系列的工作对吗它它是怎么延展的呀 我最早的一一个 GAN 的工作叫那个 Coupled GAN Coupled GAN Coupled GAN 就是啊把呃两个 GAN 的生成网络把它 Coupled 在一起 嗯 然后 coupled 在一起产生了一个 Information Bottleneck 然后所有的 Deep Learning 就是在学怎么压缩资讯然后 bottleneck 是帮助你呃帮就是给这个 network 一个机会可以去找到本质那就是你一个 GAN 是在 model 一个 distribution 然后你有两个 GAN 是 model 两个 distribution 一个是马一个是斑马 嗯 当你 coupled 在一起以后它就有一个性质就去找一些共同性然后就可以让你做这个转换从马变斑马那就是从这个方向啊走的整个生成式网络就是在做这个 distribution modeling 那 distribution modeling 就是你可以 simple 就产生一个 image 一个山一个海或一个 video 但是人不只是只想要去生成他要去能控制自己去生成的东西那控制呢就是要有讯号 嗯 那讯号有很多种那一种常见的讯号就是拿 image 当讯号就是我这有一匹马这边变斑马对这是一个讯号 嗯 另外一种方法就是弄 edge 就是你素描 好 然后还有一个就是 segmentation 就是这个像小画家一样什么颜色代表是山什么颜色代表是水这是一个讯号然后再来呢就是啊比如说 class 那比如说这是山这是车这是机车它就生成 然后最最 sophisticated 的最接近人的 natural language 就是 text 就是 text to image 哦 text to video 啊这是最就是最自然的一种形式 嗯 但它 Text 跟跟这种 segmentation 最不同一样最不同地方就是 segmentation 是给你很具体这个 pixel 是什么它帮你对位对好了 啊 啊那 text 呢它是一个比较不一样它的 structure 跟 image structure 是很不一样跟 video structure 很不一样因为 structure 很不一样所以它是啊比较难学的需要更多的数据啊所以我后来过程当中我是理解到这个问题所以我是从比较容易啊的的方向一步一步往上走然后容易的最最早是这种 segmentation 啊这种 edge 或者 image 嗯 那这也是为什么我之前讲说呃达利让我觉得我自己的那种决心不够因为我那时候总觉得 text to image 是很困难一件问题好然后觉得这个领域还没有足够多的咨询的 data 跟算力来做这件事情 啊 啊那其实是有的然后就就是因为没有去做所以做不出来 啊嗯 所以你是沿着 image 然后到 text 这个路径一点点的延伸的 对就 其实在早期啊我几个朋友我们每年一起参加 NeurIPS 我们都在讨论啊我们在讨论说那时候还没有 GPT 那时候都是早期 我们就在讨论说如果真正有 AI 就是真正会产生突破第一个会产生突破的领域是哪一个当时我就跟大家讲说是 text 是 language 这是哪年 应该是一六一七吧我虽然自己不做 text 但我知道就是影像的讯号太多杂讯你很多东西就是那个啊就是 他离那个知识的本质是比较远的他是比较一个就是这个世界的就是这个 observation text 已经已经是很纯净了比较接近 symbol 主要产生一些类似智力的表现最早就是 language 我虽然知道那个啊最早的 AI 会是在 language 发生后来也的确是这样但那时候我就是比较喜欢这种视觉讯号所以就一直留在这个视觉讯号的生成这边 嗯后面这几个 GAN 的工作你来讲一下 那时候就是 image translation 嘛从 A 就是那种马变斑马那个风景画编编真实的这个风景然后后来又开始做 video 啊然后嗯我们那时候做一个叫呃叫 Vid2Vid 啊那时候是把一个 车子 simulator 啊产生这种很简单的这种卡通的图片然后把它变成一个真实的开车场景就是很接近现在的 Warp 这些东西 对这已经到 NVIDIA 了 对都到 NVIDIA 了嗯 我只有 coupled GAN 不是在 NVIDIA 做的剩下的 GAN 都在 NVIDIA 做的嗯那时候啊早期做这些工作 然后呃也因为这样子跟 Ian Goodfellow 就 GAN 的那个发明的人成为好朋友然后我们就那个就很多讨论然后也很幸运就是在英伟达啊就是很多优秀的研究员啊于佳慧Tim Brooks 还有很多来来我这里实习然后跟他们学习然后做了很多一系列 work都是围绕着就是 image translation 啊 video to video translation 啊嗯啊这个方向走对然后后来有一年 我在读 PhD 的时期学的都是传统的这个 computer vision 的东西那 PhD 毕业之后 Deep Learning 时代来了啊那时候就只想说你不应该做 handcrafted algorithm design 不应该做 handcraftedfeature engineering 就是应该 data driven 然后那时候也理解到就是这种更加 scalable 的 approach 哦简单 scalable approach 是是更容易成功的 所以就常常跟自己讲就是说你在做选择的时候要找这种啊更加 scalable 的这一点是就是后来就大家讲 bitter lesson 对那我在做 GAN 的时候很开心但我一直在思考 GAN 到底是不是 scalable 嗯 因为 GAN 大家都知道说它很难去训练呃所以我我担心这东西就是可能最后不 scalable 那年于佳慧来我这边实习的时候我跟她研究的题目就是要去 scale GAN 啊那时候还很早那时候我就看到于佳慧她的才华洋溢然后就是做出很多就是虽然我们那时候没有写出一个 paper 但那时候做的实验量非常惊人她的想法我看到哇 还可以这样想好然后就是啊比如说那时候 GAN 是一个 generator 跟 discriminator 嘛那那时候我有幸的是有很大量的 GPU 可以一个 cost 来存 GAN 他就想到说每一个 GPU 都放一个 discriminator 但是它的 weight 都不一样所以好像很多人同时跟这个生成式网络做啊对抗嗯在那个时代能去实现这东西是很不容易的一件事情 然后那时候还有另外一个呃实习生他叫 Jeremy Bernstein 但他就是后来发明这个 Muon optimizer 现在大家都在用的 Muon optimizer 的人然后他那时候来我这边实习那我跟他研究的方向是如何在在这种 algorithm 上面更好的算法来去把这个 GAN 给给做的稳定 嗯 那这两个最后就是方向最后都没有成功但他们各自都开发出了啊非常惊人的啊很有成就的工作 Jeremy 就是从那时候开始我们写了一系列的 paper 就是如何用呃 mean 早期的算法来去稳定啊来去就是让这训练更稳定他就是一路一路往下走在开发这个 Muon 的这个算法 嗯 是很开心那一段时光学会很多东西嗯到某一年很努力啊然后跟着这么多聪明的人在研究这个怎么让 GAN 更加 scale scalable 但每个结果都走向都是得到一个结论就是 GAN 不 scalable 然后呃我 建立这个团队就是那时候就是大家加入原因就是想做 GAN 然后那一年我就跟大家讲不能做 GAN 了要往就是这个方向不 scalable 我们那时候看到 diffusion 嗯啊觉得哇这个这个方法极其稳定然后这应该是一七年 不是一八年应该是二零二一吧就那那时期一七年是 Transformer 发明出来了 二零二一 对一七年 Transformer Transformer 发明出来之后呃我必须讲我不是早期去接触 Transformer 的 当时的应用还是 LLM 对这是 LM 那一块 嗯 我我一直在专注在 GAN 然后早期的 GAN 呢比较好训练的都是用那个 convolution network 啊到 Sanjit 他把这个 diffusion transformer 带进来之后才做 diffusion 的边的人才慢慢的往这个啊Transformer 这边走所以那时候就是从算法层面来看就是觉得这个 GAN 不 scalable 然后就跟团队讲说这是不 scalable 的东西最后做不远然后走 diffusion 然后就开始走 diffusion 然后往下走 嗯对 嗯 这是一个一个重大的转变时期那做啊 diffusion 一开始是做 image 嘛然后后来做 multiview image 然后 multiview image 呢啊就做变成 three D generation 啊然后我们就做了一系列这方面的 work 就是 ADT 五系列的 ADT 五 image generator ADT 五啊 three D ADT 五啊 video 然后就做各式各样 ## 转写 01:00:00–01:20:00 用 diffusion 来做的生成。 嗯。 嗯。 我听这个我会想到两个点就是嗯你在 CV 这这么这么漫长探索过程中其实计算范式发生好几次变化。 对。 从传统的然后到了 again 然后又到了 diffusion。 就在每次转变的时候作为一个研究员在其中应该是一个什么样的心态啊。 我发觉只越变越简单呢。 会不会觉得哎呀我之前的工作都白做了。 Jennsen 常常讲就是 suffering little greatness 。 然后在这么多。 嗯。 就是经历当中我觉得我现在越来越能掌握这个事情的本质。 然后我觉得有点像是啊就像传统的科研一样。 就是把事情越就找到真正找到本质找到最简单的方式去描述。 啊这个有这物世界怎么运作的。 然后我觉得现在的方法就是把事情越变越简单。 嗯。 然后在 Cosmos 这边我们也是从数个模型最后变成了现在这个 Cosmos 三的一个模型。 也统一了。 对就是就是渐渐理解到。 哦 ok 原来这就是事情的本质然后每一个方向我都是花了五到十年在在投入嘛。 我觉得未来的决定。 啊我所深受这些过去的那个经历影响哈然后我也不能说那是错误的那时候不能说它是错误的。 就是嗯那时候的条件那时候的算力那时候的数据啊。 在那时候做那些事情是合理的。 嗯。 对那那时候那时候学的东西对我。 啊现在做很多事情理解很有帮助。 还有我发现你好几次提到你的实习生。 在 AI 的 lab 里是不是就是通过实习生来涌现一些 idea 是一件很常见的事情。 怎么看待年轻人。 比如说经济的啊茂盛程度是根据钱多快从一个人的口袋流到另外一个口袋。 那研究的茂盛程度应该是啊根据 idea 多快从一个人的脑袋流到另外一个人的脑袋去。 你听了我的 idea。 你有些想法把它变更好我听了你新的 idea 我觉得诶不错但这个地方还可以更好你就一直流动流动流动然后就 idea 越来越好。 那所以啊因为我走向业界这条路就不是去学校做教授那啊如果你只是在业界整天交流的只有你自己的同事啊那 idea 的。 的 diversity 就低一点那英伟达这边我们找很多实习生哦就是跟这些很有想法不同背景的人然后一起合作啊研究然后。 互相学习然后所以我觉得这东西是啊是帮助我成长哦就是然后也帮助他们成长一个很重要的一个。 发展。 你一二年加入了三菱就博士毕业加入了三菱研究所。 对。 然后一六年加入英伟达你后面这个职业的变化是怎么发生的你怎么加入英伟达的。 自从开始做 deep learning 之后我很相信算力在三菱电机呢不是一个重视算力的公司是一个啊它是重视算法。 然后那时候我为了能做出研究做出好的研究我就常常跟我那时候的 manager 要求要买 GPU。 哦对然后开会就是说我们需要 GPU。 要做这件事情在那个三菱电机有一个 long time mentor 啊他叫 AngzoZhao 他是也是一个很有名的研究员然后他那时候就决定离职加入苹果做自动驾驶。 然后然后我突然间觉得说。 就是当初把我留在三。 菱电器的主要原因走了。 没有了啊。 然后我就开始思考说我是不是也要换工作。 那很自然而然的换工作就是到硅谷跟这些大公司聊一圈那时候大家都看到就是 Google 啊 Apple 啊亚马逊啊这些。 Meta 这些大公司嗯然后后来他们的 recruiter 找到我然后我看哎 NVIDIA 对每次我都想要买他们的 GPU。 嗯好然后我这么缺 GPU 这么想要 GPU 那为什么我不加入一个啊就是生产 GPU 的公司。 啊所以那时候我之后就决定就是加入这个啊英伟达那我那时候父母亲不太能理解因为 no 英伟达是他们没听过的公司那时候没听过的公司嗯他说您苹果不错啊。 谷歌不错啊你为什么要加入这个英伟达嗯然后我那时候想说是因为我觉得 GPU 是最重要的呃其实那时候。 我我我开始做 couple game 的时候呢是那种 Unsupervised Approach 嗯啊所以 unsupervised Approach 代表数。 据取得比较容易一点你不需要标注那我就觉得那最重要就是算力跟数据嘛那啊我既然数据不需要标注那我就去有算力的地方。 然后一件事情很有趣就是我后来发觉就是我那时候在三菱电机的 manager。 我每次跟他 argue GPU 只要我吵赢了他给我一些那个经费去买 GPU 同时之间他会买 NVIDIA 的股票然后后来他就退休了。 他也没有告诉你是吗当时。 他后来跟我说了。 当时没有告诉你。 当时没有。 不然你也可以买了。 是的嗯。 嗯。 我看到你在三菱电机的工作的时候就已经和英伟达的人有一些合作了是吗在一些论文上面。 嗯不是我多半是那时期就是写的那个 paper 嗯因为那个学术的那个论文啊就是审核啊有时候你不是第一次投就会上了然后可能是多投了几次后才上那。 呃在三菱做的研究啊可能后来到了那个啊英伟达之后又继续在上面做一些提升哈然后所以这个才会有些 Paper 的作者同时有三菱的作者跟跟英伟达的作者。 哦对并不是在那时候有合作就公司跟公司之间合作没那么容易。 哦我以为是之前有一些合作的基础所以你加入了英伟达其实不是的还是正常的一个求职的过程。 对就是。 啊我那时候并不知道那个啊英伟达有一个研究机构。 哦。 对我那时候觉得主要是卖 GPU。 嗯啊然后啊那时候面试我的几位啊同仁我后来跟他聊之后才知道哎他们真的是在做研究才过去的那时候英伟达的研究机构没有什么名气。 多少人啊。 那时候去的时候不到一百个人吧嗯然后而且不是纯粹做 AI 研究大部分人都是做 Graphics。 那时候做 StyleGAN 那帮人呐那时候也不是在做那个。 也不在做 GAN 他们在做别的东西嗯那我都印象很深刻就是在。 NVIDIA research 每一年都会有一个叫呃 Offsite 就是把世界各地的 NVIDIA research 的同学飞到啊是加州啊在硅谷南边有一个小镇 Monterey 下面的一个小镇。 然后那边就有一个地区我们在那边做个两三天的就是研讨那是我第一次见到 Tero Karras 就是发明 StyleGAN 的人还有一个 Timo Aila Samuli 这几个重要的那个 GAN 的研究员。 那时候他们都没有做 GAN 然后我已经做一段时间了那我遇到他们的时候他就跟我讲说他要把 GAN 的问题给解了然后我心里想说。 OK 你可能不知道多难呃我当然希望他们成功但是觉得他们有点低估它的难度然后后来他们就是真的一直投入在做这个 StyleGAN 从一啊二啊三啊。 然后就不断的突破然后我跟他们合作当中学到很多东西就他们一直在做这种 unconditional 的不是这种我做的那种控制性的但但是他们就是对这个细节的追求。 啊对这个结果的那个追求就是影响我这个这个研究的发展很多。 嗯。 进入英伟达做研究有像你预期那样可以有很多的 GPU 吗。 对这世界上没有任何一个地方 GPU 是够的。 哦对然后呃你总是看到啊不够的地方。 对那我是很幸运就是我是最早在英伟达里面做大模型的那个就是用大量 GPU 来做这个生成式网络的的一个研究员。 那因为我早期帮公司做了一些就是啊 Visibility 很高的 Work 那所以公司很多人都认识我然后那个老黄也对我蛮有信任的所以我就很有有幸有很多 GPU 资源可以去做这些研究但每次都是看到别人的 GPU 更多啊觉得自己总是不够啊。 怎么在一个像英伟达这样的公司获得更多的 GPU 啊你需要学会什么。 你要懂公司要解的问题是什么你要你要想办法就是跟公司解释为什么你做的东西会对对公司产生影响。 每个研究员都自己有自己的想法啊都想解事情然后研究员某方面来讲都是 very high ego 嗯嗯就文人相轻自古皆然每个人都觉得自己想法比别人好嗯。 嗯。 但公司的本质跟啊还是不太一样啊就是公司是为了为啊就是股东获利啊那当然对 Jensen 来讲他是希望可以 take care of family 就是整个整个公司这么多人一起打拼嘛英伟达今天出来他希望可以帮大家照顾好 family。 就是公司要赚钱所以我学到一件事情就是就是我深信我做东西是对世界很重要那这东西会产生改变。 哦产生感改变会帮助公司那我要怎么去把这事情讲清楚让这个 leadership 让这些不懂的 AI 的这些 leader 啊就是理解到这东西对公司重要嗯这是一个重大的的变化。 嗯。 这是你刚才分享的三个时刻里的第二个时刻这具体是在哪个项目里发生的转变。 嗯我那时候讲第二个时刻是如何让其他的研究员更加理解自己做的东西啊就是的重要性嘛我觉得这个一。 是不断变化的过程我很难讲是具体在什么时候发生但我想讲三菱电机的那个案例对我印象很大因为三菱电机在九零年代非常的重要因为它是早期这种啊就是没有任何限制的这个。 啊地方来做 research 哦包含领域里面很多著名的人呐像啊 No 有 Bill Freeman 那时候在那个三菱电机研究院嘛然后 Bill Freeman 吸引了一堆现在比如说。 Alyosha Efros 就是一些著名的教授都在那边实习过好然后那边就是做出很多重大的 research 所以那时候可以跟微软研究院啊可以一起竞争嘛。 但某一时期啊公司的方向改变了他们开始怀疑这些这种 Blue Sky Research 对公司的影响是什么就越来越难去 justify 为什么要去陪这些 researcher 嗯好然后就产生了一个很著名的就是就是现在年轻人大家都没有接触到的事情那时候就开始。 啊就是一堆重要的学者在三菱电机学者就陆陆续续被 fire 了离开公司啊有些就加入微软有些加入学校当教授啊那。 那个 MIT 斯典那个那个 Rice 啊 Harvard 然后有些人去那个啊 Disney 哦就是人就陆陆续续的走那留下来的一些人就是他们还是做的啊类似的 research 但是比较难跟公司的发展方向啊相关比如说。 呃三菱电机对做相机啊做这种工业用的相机很感兴趣做机器手臂很感兴趣所以你帮那边研究就是啊就是就可以获得公司公司支持继续往下走那那我加入的时候已经是这东西都结束了。 那但是我那时候得到的训练就是说 Blue Sky Research 跟公司的兴趣也是可以 align 的。 然后我又常常看到因为在这业界很久常看到这种周期啊就是啊很多公司都会一开始的时候就是给很多自由度。 然后很多很有趣的 idea 都出来了但某段时间后开始紧缩然后就是留下那一批跟公司这个啊兴趣比较相关的人那就是你可以看到不管是 Google 啊不管是 Meta 都是有这样一个过程。 然后我可能是很有幸的在我的职场的早期我就看到这个过程的发生所以我在英伟达的时候我就知道我那时候就就是一直认为就是首先我知道我做的东西跟这个用 deep learning 来生成影像对公司绝对是正相关的更加花心思去理解怎么跟公司的决策层解解释为什么我做的东西重要。 这这个特别重要。 因为可能是公司在上行期或者是膨胀期的时候它允许你做很多 Blue Sky 的探索但是它只要是下沉的阶段它就会收缩。 对。 那一定要你回答为什么你你做这个事情重要你跟我有什么关系。 是呃而且呃去做 deep learning 非常花钱。 嗯对。 啊所以你更加要做注重解释为什么这这个这这对公司是一个重要的投资。 因为大家也会注意到你的研究其实很多时候的理念就是研究即产品。 这个跟那段经历有很大的关系是不是这后面影响你在英英伟达的很多的呃做的研究和产品因为比如说你的 GAN 你刚刚提的那个项目就是 SPADE 的那个算法其实也是做成了一个实时绘图的一个产品然后包括后面的也做了视频会议增强 AI 增强的一个产品就是所有你。 的研究都会变成一个产品去发布。 是我是算很运气的人我是一个嗯我是一个随着我年纪越来越大我越重视效率的人所以我很精准的把自己的 research 变成了一个产品哈我不能说 GauGAN 是个产品。 我发现一件事情是一个学习一个重要的学习就是 AI 单独存在并没办法改变一切。 嗯怎么说。 在做 AI 的时候大家都是追求越来越好的模型嗯但你慢慢会发觉就是模型的的那个就是慢慢收敛大家都差不多啊当然我有些人会说我不断的进步但你看到就是那个这个月那个 Anthropic 比较好下个月那个 GPT 比较好然后可能下下个月那个啊 No Gemini 就追上来了。 然后中国这些强大的公司啊 GANtimely 啊C 的呃阿里光年然后呃 deep seek 哦然后 minimax 啊这些公司都不断的在在在做突破那慢慢的就是大家的模型的能力都几乎差不多。 嗯然后你们能模型能力都差不多的时候你就会理解到说你纯粹靠模型是不够的啊然后我我可能是比较运气比较好就是早期就就认为这个模型会收敛然后我一直重视就是不能只靠模型要跟公司的。 其他的 echosystem 结合在一起你看 Gemini 做那么好就是 Gemini Google 有一整套的这种 Google Doc 啊 Google 嗯 Search 啊嗯 Mail 一整套的平台合在一起那就是当越多人使用你的模型的时候你的要反馈越多那然后啊越方便那么就更容易就是对公司产生贡献。 对公司产生贡献公司愿意给你更多的投资你可以做出更好的模型然后就一路可以把这个啊长期的这个就是发展嘛一路一路做下去嗯所以啊那我在早期做 AI 的时候就是跟其他的研究员差不多就是。 研究员啊 PHD 学生毕业的方式就是写出啊高质量的论文什么叫高质量的论文呢往往就是你在 bench mark 结果比别人好。 嗯就是你就是要一个 killer 把别人的方法给击败嗯然后再来就是文人相轻嘛总觉得自己比较行好然后就是一路往下做所以很多时候早期做研究。 我就想都比别人好然后到晚期的时候我后来渐渐理解就是那种比别人好只是其中一个就是证明你的东西有价值的方式那另外一方面就是你可以帮助到别人让大家都变更好。 嗯然后你会发觉就是我我我现在的想法越来越接近就是我做出什么东西可以帮助整个领域变好而不是追求的就是我比别人好。 这是一种 high ego 还是一种 low ego。 嗯我不知道是 high ego 还是 low ego 我呃我是有幸的在过去二十年当中遇到好多聪明人我总觉得就是这世上能人非常的多啊然后我很多实习生都比我优秀然后我也觉得这是非常开心的一件事情。 那我觉得我自己能做出东西来可以服务这个社会但我也不会觉得说我一定是比大家都还要优秀然后啊所以我不是说 high ego 也不是说 low ego 我就觉得我是有办法产生贡献。 嗯你刚刚其实说到一个你做模型的思路就是你觉得模型最终会收敛它的能力可能会同质化但是我理解那些 Frontier Lab 他们的认知是说智能现在还没有到顶智能还要继续高速的提升你你不认可他们这个观点吗就他 bet 智能的 scale。 我我当然一方面很好奇嘛啊然后呃我自己也在用这些模型我也看到它不断的都在提升嘛然后但是有些人总是会讲说接下来会有 exponential growth。 如果你不赶快投资这间公司或者加入这些公司的话你就会 miss out the opportunity 对然后我觉得历史上看过去历史从来没有这样发生过就是一家公司就是掌握所有的科技其他其他的公司都没有办法去追上这从来没有在世界上发生过嗯然后我不觉得 AI 会是一个例外对我觉得大家都很聪明对就是人员会流动。 总是在 A 公司做一段时间总觉得我自己的才华没有受到肯定我可能就跳到 B 公司去对那呃这些 know how 这些东西就自然会在这领域里面扩散嗯对然后我总觉得不会有一个公司会比其他公司都做一个巨大的超前我觉得这本身就不是一个稳定的社会状态。 如果推演一下如果模型呃的智能大家达到了一个差不多的水平接下来大家竞争的是什么呀。 就是呃整合跟跟自己的这个生态跟自己的产品的整合。 嗯对就是。 这是大公司创业公司呢。 创业公司啊创业公司的优势是可以可以走那个大公司不能走的问题比如说对 NVIDIA 来讲任何生意只要是小于一个 billion 就没有兴趣去做。 啊但那些本身就是有一些很值得做的东西。 然后有一本著名的书叫那个啊叫那个 Innovator's Dilemma 就是一个。 创新者的窘境。 对嗯就是往往这些小公司在走向那些当初不是很被看好的这个领域看到一些东西可以慢慢逐渐起来很多公司都是这样起来的。 英伟达也是这样的。 对英伟达是这样起来的所以我觉得还是充满机会嗯对我不觉得一定要做你你如果现在开一间公司要跟 No openai and so i'll be 做一样的事情很危险。 对你的资金绝对没有他们雄厚然后你没有客户。 ## 转写 01:20:00–01:40:00 你要怎么去累积，然后他们这么大的资源可以把东西做便宜然后你不容易追上，所以你要去解一些痛点是他们没办法去解的，不是他们不想解，是他们没办法去解，他们不能justify为什么要去解这件事情。 所以哪怕是你要做大模型这件事本身，最后你也要找到你自己独特生态位。不管是OpenAI还是Anthropic。 我们可以看到Anthropic它早期是被认为是落后OpenAI的。对。但它是最早相信Coding的。当OpenAI在做分散式投资把鸡蛋不放在同一个篮子里的时候，那个Anthropic是做集中式投资，然后最早去做出这个扣定这个东西的。所以他那时候就看到了一些那个就是机会，然后他就坚信就有决心把它做出来。所以我觉得对创业者而言，应该就是要决心要去看到一个机会，然后去看到一个就是你独特的机会，利用你的资源把事情做成。 但是今天不管是硅谷还是中国，大家又开始全部同质化都在做。是。Coding、Agentic Coding，你怎么看这个现象？你觉得这是对的吗？ 每个公司做这件事情背后都有不同的目的。好那我我不是站在他们的立场，我无法去讲。但从我角度来看就是，呃，这其实是很辛苦一件事情。对那。 你说的是同质化竞争？ 同质化竞争是很辛苦一件事情，呃，我觉得他们做这件事情可能是被迫的。因为这是本身是一个重要的一个Technology，啊，任何人都不希望自己核心科技是被掌握在别人的手里。对吧？那但我不觉得这个是他们计划的全部，他们一定有其他计划去做出一些差异化。你没有差异化就没办法做出有差差别性的产品。 最终还是要差异化。 我觉得是。 嗯刚才我们其实回溯了你的很长的一段经历。那你觉得你作为就是刚到美国时候的那个第一份工作的研究员，呃，刘洺堉，然后到后来变成一个在英伟达变成一个Tech Lead，然后再到现在是一个VP研究的VP。你觉得你在不同时期解的题是一样的吗？ 嗯，Scale是越来越大。 嗯。 然后那个。 这个Scale指的不只是管理的Scale对吧？ 对，不只是管理的Scale，不管是运算人员的Scale，然后啊，这跟整个AI发展也有关系嘛，AI从探索到可以落地。那这是一个变化然后这些不同的时期都有不同的经历，有时候还是会怀念以前那些各种方式都，各个东西都不work整天就想什么东西会work的时光。 为什么？ 有多种可能性的时候也也蛮蛮开心的吧，就是多个选择多个选择会给你一种开心的方式，现在的状态就是也有很多选择，只是就是我觉得越来越切近，我自己蛮喜欢就是啊，回到事情的最最核心了。然后现在发现就是很像是现在的写法都是，呃，无重剑无风大巧不工，就是啊，很扎实的一步一步把这个Beta Inference做好，然后就把东西写出来。在这个执行过程当中，我也觉得是一个很不错的历练，从里面学到很多东西，怎么让这个帮助团队看到最核心的本质，然后去去提升这个执行力，但同时间又在可以创新的地方让团队做出重大创新，来去跟上这个时代的前沿，我觉得各种时期有不同的挑战都很有趣。 嗯。从一个研究员到英伟，英伟达的VP这个多见吗？ 我可能是第一个吧。 你是第一个。 对。 你觉得为什么呢？这是我想问你的。 我在英伟达前几年是每一年跳一级。然后就一直跳跳跳跳就到VP了。对，然后我觉得是因为我，呃，早期在英伟达还没有AI人才的时候，我就在那里。啊就是帮助公司，啊，然后提升不管是AI对社区的知名度，或者是解释AI怎么影响公司，然后我自己又很喜欢落地，就是一步一步就是获得公司的信任。呃，公司就愿意把这个越来越大规模的这个专案给我做。 嗯。 像现在想想就是整个团队这么多人，运用这么多运算资源，每天都是几百万美金就是的运算成本啊储存成本。我觉得就是积年累累月啊，就是公司有一定的信任，才有这个机会去带这么大的这Project。 嗯所以你跟公司Align非常重要对吧？ 对。 一个纯粹的研究员的天性和一个管理者可能是有某种程度上是相背的。 对，研究员要创新，研究员High Ego，研究员需要Recognition，然后Recognition，啊有时候Recognition跟公司要的Recognition可能不太一样。嗯。 那你在成为管理者的道路上有没有可能就是抑制一部分研究员的天性呢？有没有可能是在带着镣铐跳舞？ 我觉得我还是一个研究员，我还是常常读论文，然后我有时候会做些实现然后去去理解我，我最担心在成为这个一路成为管理者的历程当中，我最担心一件事情就是我我跟底层脱钩。 嗯。 我不理解啊，就是问题的核心所在。然后我会强迫自己就是呃，review大家的code，然后啊去读Paper，然后去Challenge每个人的idea，然后跟大家做一些就是等于就是Debate来确保这个方向是对的。我很呃，跟我公司人大家都知道就是，呃，我可能是少数还继续在看Code的VP，然后还是继续会去就去理解，但我我觉得我如果不这样做，我我当然我我知道我的任务不是一个不是成为一个很能很能去实现的人，但我是觉得我如果不做这些东西的话，呃，我自己会不理解痛点在哪里，我这样就更不能去理解大家每个每个人对这个专案的贡献在哪里。就是我就是希望自己一直Stay grounded的。看清楚一切，然后这样可以帮助团队成长，然后也可以看清楚谁对谁谁的贡献在哪里。 嗯，如果说过去二十年就是你到了美国之后的这二十年，对你影响很大的几个人你会说谁啊？ 啊，那第一个就是我的指导教授，啊，他把我带进这个深度学习这一行，他非常厉害就是啊，然后他也是非常善于沟通，然后他可以让任何场面都是充满着欢笑，啊即使是啊这种很严肃的这Review Meeting，然后他对人都非常的尊重，然后就是在他里面学到很多东西。那再来就是我在我实习生的啊，我做实习的第一个 Mentor，Anand Anandkumar。啊，他就是手把手教会我很多这个Machine Learning的东西。啊，他对我影响非常非常大。到英伟达之后，就是多半跟这个同台学习Tero Karras就是那个StyleGAN的Eason，我也受他影响非常大。对。 是哪方面影响？ 他对东西追求到极致，你如果读过他的论文，你看他做的实验分析去把这个本质套出来这个过程这个这个坚持啊，我跟很多不同的研究员呃合作嘛，在那个时期，然后那时期很多研究员就是一个想法写一篇Paper。同时间一个GPU大概可以写二十篇Paper或是四十，一年可以写个四十篇Paper。Tero就是每年只想写一篇Paper。啊，就是把他所有的他他他也工作也非常努力，然后就是把他所有的就是人生的精力啊，就投注在同一个idea，越钻越细，找到问题的本质，然后产生重大的贡献。 这样压强更大。 就是这个Stay Focus这件事情是我可能是从这里面啊，从他从这些人共事当中学到很多东西。 嗯那老黄呢？他对你有影响吗？ 非常大的影响。 嗯。 他是一个工作非常认真的人。啊，我在早期加入英伟达的时候，他常常会传论文叫我看。然后。 传论文。 对叫我看，然后然后我就要写一些Summary给他，跟他帮他讲是什么事情，他是一个非常热爱学习一直去学习一直去理解，他当初也不懂Computer Graphics，他敢踏入做GPU他去把Computer Graphics学起来。他也不懂Deep Learning，他踏进AI去懂Deep Learning。对然后呃，这是他强大的学习能力强大的兴趣一直往下走。 嗯，他不懂他为什么敢投入呢？ 他有一套自己的那个决策法则，他就是叫First Principle。他就是他会把事情的本质把它理清楚，不会受到外界的讯号的干扰，他就是看得很清楚，就是说这个方向最Make sense，然后就往那边走。他在早期就敢All in Deep Learning，对让公司获得巨大领先，在早期就敢All in CUDA。让公司产生这个很好的Foundation。我在认识Jensen之前，我觉得我的决策就是都是偏比较短期的。然后我看到他怎么去做这种长期的决策，然后坚持然后我觉得是印象非常的惊人的。那他还有一些很惊人的地方就是他的他的每天的信都非常的多。 邮件是吗？ 对，邮件邮件都非常多，但他都是很仔细的去读然后去找一些别人看不到的讯号然后做出一些那个，呃，重大的决定而且他，呃，是一个很理性的人，你当你事情很多的时候。啊，你如果没办法去做Prioritization，好就是把重要事情去做的话，就是把你把时间放在不重要事情上面，你就你就不会变得做出重要的事情嘛。所以你你决定哪些事情很重要，是很重要一件事情。Prioritization，然后我我自己是这样推想的，他强迫自己每天读大量的Email，强迫自己快速的就决定什么是重要的，什么是不重要的。在每天不断练习之下，看事情看得非常清楚。 嗯。 好当你看清楚事情什么是重要，什么是不重要的时候，接下来都是执行。那很多人执行的时候会把自己的个人情感放在里面，就说这虽然不重要，但是我跟那个人不错。然后我是不是应该让他去做，他不会这样做。他就是就是他就是觉得说我的整个目标就是Take care整个公司，我只要一直做，我做对公司做最重要的决定，你只要留在公司里面，我就会Take care of you。嗯。 嗯。 对然后然后我就从里面去学习他怎么去做Prioritization，然后我觉得这件事情让我印象非常的大。就是我我现在当Research的一年的时候，可能同时处理两三个Project就觉得好累啊，每天要换两三个Topic。 啊。 我现在几乎就是每半个小时换一个Topic，然后呃，我觉得以前是没办法想象自己做这件事情，但是在这种不断的一直做Context Switch的状态里面，也帮助我去更加理解什么东西是比较重要。对啊然后这是很重要一件事情。 嗯。 然后还有一件事情就是，如果你学过Computer Science，Computer Science最重要的一件事情就是懒惰。就是不用算东西不要算。 嗯。 可以晚点算的东西晚点算。 嗯。 可以直接就是一个No就全部一个No。嗯那你人生就是这么多时间，你的经历就这么多，如果你能知道什么东西不要算。就把它移出的话，你的人生运用就更有效率。所以我觉得还是很值得去学习Computer Science，不要因为AI就不去做Computer Science了。 老黄又把什么排入了他的计算范围之外。 每个时期不一样，每个时间点不一样，对这不是永远固定的。 嗯比如说现在呢？ 他要处理的事情实在是太多，也很难说现在什么东西不是重要，我我自己看到的东西跟他看东西完全不同的等级嘛。他看到是他等于是全球AI重要的一个推手。对吧？那他看到的东西远超过我看到的东西，那我不好评论他觉得现在什么东西绝对不重要。 嗯你是怎么保持自己的精力的呀？你有什么一些技巧吗？ 呃，我是很喜欢运动的人，我以前喜欢做这种团体运动打篮球啊打网球。那我后来就是我还有一个很大的兴趣就是我是一个啊，投入中国功夫很多年，好几个十年，就是从十八岁开始就一直在练习中国功夫的人。啊。 对我听说你练功夫是吧？ 对。 有功夫老师。 有功夫老师，我的我的武术老师是徐纪。他是一个很有名的武术老师，他的老师是刘云樵，刘云樵老师是李书文，当初是那个大家讲神枪李书文，是沧州的武术啊家的代表。然后他的八极拳劈挂掌对整个那个就是整个武术啊，是一个重大的贡献，他所整理出来的八极拳劈挂掌。那我觉得很有幸就是在台湾啊，那时候因为呃，蒋介石的关系有一群这个武术家到了台湾。那我的老师徐纪在那边跟刘云樵学，然后我跟徐纪学学，才去学会这些中国武术。那武术就是一个很好的身体的锻炼，不管是心智啊然后磨练啊啊对体力啊，对心智磨练都很好。呃还武术还有个好处就是它是只要一个人就可以做的运动然后所以我早上起来就是啊，就是做这个啊武术的锻炼，自己在那边做训练啊，蹲蹲桩啊打打拳呐。然后我最近还有一个新的嗜好就是叫Ice Punch，就是你用一个冰桶然后把像运动员一样做完激烈运动之后跳进一个冰冷的水池里面，然后呃就是帮助身体的修复。然后我觉得这东西也帮助我保持着精力，可以面对每天高强度的挑战。 这都是你上班之前要做的事情。 对。 嗯和我我对你的印象还蛮不一样的，因为我每次看你都是一个非常谦和的人，但是你还是呃做一些相对有一点点激烈的运动对吧？ 啊。 冰水啊武术呀。 是但嗯我学武术的目标不是为了打架是一开始是呃受到金庸小说的影响。然后那样就是对这些啊这个中国武术充满了兴趣，学了之后发觉是对自身的一种磨练。中国武术最重要就是控制全身，控制自己，因为你要啊发挥打出一拳的时候，最大的力量会来自于你全身协调，可以把力量从脚一路灌到手。这么长的路径，你要控到知道全身协调这个力量传递到最后循序啊，就是一步一步到位是很难的，因为都一瞬间发生。所以你要经由不断的练习不断的自我修改，啊我觉得这个跟我喜欢一直自我检讨一直追求啊都有很深的缘影响。然后我并不是就是为了展现我就是强大的破坏能力啊，我是啊就我觉得后来变成一种对自己的追求。 嗯你的性格这种比较温和，嗯你能算温和吗？你在公司应该不这样吧？ 啊当然不是这样。做久之后都有点恨铁不成钢。然后看到呃年轻的研究员就是差那么一点火候就可以把事情做更好，就会忍不住就会啊提出来。 啊所以还是会凶的对吧？在公司里面。 我是我觉得是一种呃是一种直接指出这些问题所在。 嗯。 取决于听的人听的人如果是觉得我是正面的，他就会很开心，因为这世界上不是每个人都愿意跟你讲出什么地方可以做进一步的提升。对然后他们总会感激我跟他讲说这个地方你可以做的更好。但如果你你听者是觉得说我就在挑剔的话，那你就会觉得我很凶。 嗯你这个希望能够一击制胜的课题是不是Cosmos？ 就是我们整个组只有一个Project就是Cosmos。对然后我是非常专注在做Cosmos，我也嗯就是就是我们就是希望透过Cosmos来对这个世界产生巨大的贡献。 嗯这也是你接下来也许长达十年最重要的一个课题吗？ 是的，呃我们做完Cosmos一的时候问那个Jensen要不要继续往下做。 嗯。 然后Jensen跟我说你就做到Cosmos九十七。对我现在做到三而已，所以还还有还有还有那个九十四代可以往下走。 为什么不是一百是九十七？ 没有他他他是随口说说的就是啊他他数字是随口说说，但他的决心是展现在他这个数字上面。他是认为这是一个重要的方向，然后希望我们可以继续专注，啊去做这个物理AI的Foundation来帮助整个领域往下走。 嗯我们接下来重点来聊聊Cosmos和世界模型吧。也是你当下最重要的一个议题。我看你在你的个人主页上说你一直被这样的一个愿景所驱动，就是为机器人构建一个黑客帝国。对。能不能阐释一下这个愿景？ 我认为世界模型可以帮助这些啊具身智能啊有来做到这个泛化效果。 嗯。 那我觉得任何AI的问题要解的问题就是这个泛化的问题，你能不能在你看过的训练数据之外，也能表现的非常的好，泛化对不对？就是在这个Coding啊在这个Chat里面都是去解，去训练模型让它可以去解在它训练没看到的东西的问题。很很就是变得像人一样对吧？那物理世界的AI也不例外，就是要解泛化的问题。那解泛化的问题在Cosmos这边我们是想这样帮忙三个点第一个提供更好的数据第二个是提供更好的起始点。然后第三个是提供更好的环境。 嗯。 啊数据是你可以用生成数据啊数据是帮助AI模型更加泛化的关键，就是你可以想象这个世界上你看到的数据是这么多的点，你可不可以去生成一些你需要看到但是你真实世界真实世界你没有采集到的数据。我把它叫Better Data。然后再就是如果你可以训练出一个好的世界模型，这个世界模型理解世界怎么运作，可以去预测未来发会发生什么事情。这样的一个模型它本身的这个Representation是不错的，其实可以提供一个物理世界AI，不管是Policy Model还是什么Model一个更好的一个Backbone。从里面可以去就是衍生出你想要做的Policy。那这是更好的起始点，更好的数据更好的起始点。那第三个人是怎么学习啊在这个物理世界学习呢，就经由实验啊经由啊跟这个环境做交互，跟真实环境做交互往往是比较昂贵的，然后你能获得经验累计时。 ## 转写 01:40:00–02:00:00 一定是短暂的就是一个极限。 嗯。 如果说你可以用这种像黑客帝国这种矩阵的方式可以同时产生多个环境，真实无比的环境你可以跟它交互然后给你讯号，你是可以学习得非常快的那就是更好的环境啊，更好的数据更好的起始点更好的环境那里面最具有挑战性的就是更好的环境，我们不想在我的网页里面把它写得非常的长像一个 essay 一样，所以就提出了像黑客帝国这样子一个啊比较好的一个就是帮大家去理解我们想怎么做，怎么帮助这个 Physical AI 的 community。 嗯，Cosmos 这个在内部具体是怎么立项的，这是二四年还是二五年？ 嗯，二四年吧应该。二四年开始做的。大概二四年三月份左右我们决定要做然后就开始。就是在 Sora 之后。对，在 Sora 之后。就是完全是那个时间点。嗯。对啊，对，然后大家都在想说，啊这个啊是充满了决心，那一定要做，然后很荣幸地 Jensen 就是信任我，啊让我去带这个 project。 说服他的过程难吗？在这这件事情上。那时候已经不难，之前要说服比较难，但看到 Sora 之后就不难了。他就很他他是很聪明的人，他一看就知道这个东西对，对那个这东西对公司的影响而他是一个很有纪律的人，有些东西即使很重要，他会叫你 pace，pace your steps 就是让你不要急，他擅长打马拉松战。 嗯。嗯，对，好，所以他是很有纪律就是就是慢慢地一步一步往目标前进。 为什么之前这个时机还没到？在 Sora 之前。 在 Sora 之前就是嗯，First Mover 有 first move 的 Advantage 对不对？好，然后每家公司有不同的定位，对吧？嗯，取决于你想要解什么样的问题，你要怎么样获利，我没有足够多的资讯来判断啊，但我不觉得你看像现在很多家公司都做得很好啊现在做，Video 生成最赚钱的应该是字节吧，对，C 点对吧？所以啊这个轨迹是很难说的。 嗯，好到 Sora 的时候觉得时机到了。对。嗯。是你又跟他写了封邮件吗？是我们这一群在做这个生成式模型的做这种 Media Generation 的这群人一起决定跟 Jensen 写邮件，我猜每个人都会写吧。 对我们哦每个人都会写不是一起写一封。呃，我们会讨论然后一起写一封然后让大家都会加意见，然后就是就变成一个公司的共识，就是我们必须要把这东西做出来。 哦，Jensen 回复这封邮件了吗？对，就是把我们聚集在一起开会嘛。哦，然后在那个会议上达成了共识。对其实会议之前大家都达成共识了。嗯。然后那个会议只是是更具象化到底要怎么做，然后谁负责这样子。 你对那个会议有什么记忆深刻的事情吗？有什么场景。就是他叫我们去想名字嘛，然后我那时候其实已经知道最后他会提出更好的名字，有点拒绝，不想浪费我的力气想个名字之后他想出更好的名字。但我还他还我就跟他讲说你就直接跟我们讲吧你觉得什么名字好，他说不行你要去思考去想我觉得有道理啊，因为这个名字跟产品的定位会非常的相关。嗯。你看我们叫 Cosmos 是一个就是，那种宇宙啊。 我们目标就不是产生这个 Content 不是为了要做创作，就是为了要解物理世界的问题，在慢慢往物理 AI 这边前进。 因为 Sora 其实是一个服务创作者的一个事儿。他早期的 Demo 是这样讲。嗯，为什么你们当时选择的就是 Physical AI 呢？就是面向的这个市场。那时候已经陆陆续续可以看出来，就是那个 Physical AI，它会是下一个 Revolution 因为。 这个是个刚需嘛。嗯。就每个人都会老化，每个地方都缺乏劳动力，每个人都想提升更好的生活品质，还一方面来讲就是，呃 NVIDIA 是走这个 Developer Market。 嗯，好就是帮助这些开发者啊，就是做出更好的产品，我们自己不会经营一个社群网站，也不会去经营一个创作工具。啊这有点太 To C 了对于英伟达来说，所以你们定了我要做一个世界模型然后这个世界模型是为了 Physical AI 的。为服务 Physical AI 这个 community。嗯，对。 今天大家对于世界模型的定义还是非常的不清晰，你跟我们讲讲你的世界模型的定义吧。我我是个很讲究实用性的人嘛那人为啥会去设计一个模型呢？嗯。 就是它可以用那用法有很多种，对不对？比如说啊你设计一个模型设设计一个模型来描述这个世界，仅有的模型你可以去预测接下来会发生什么事情，所以它的目的呢是为了预测。 对，哦，这是一种世界模型的为什么去设计世界模型的原因。嗯。用处嘛预测，那另外一种是你想去理解为什么这事情发生了，以你某方面来讲整个物理学就是去建世界模型去了解这世界是怎么运作，啊从这个牛顿力学一路到这个啊量子力学啊。 就是去去去了解这世界怎么运作，也就建一个模型嘛，然后去帮助我们理解怎么运作，那当然从 Deep Learning 里面，啊我们把这个这个 Understanding 啊就是仅有一些标注的数据去去教这个模型，啊这个东西会这样是因为发生这件事情。 然后然后仅有大量的数据泛化，然后帮助未来新的事件发生的时候，你经由这个看到的视讯讯号然后去解释，帮助人去理解发生什么事情，比如说这工厂在工厂里面为什么这个地方突然间产线卡住了，然后可能是之前某个工人忘记把什么东西打开，也是一个这个世界模型建的也是一个目的性。 就是为了去理解发生什么事情找到问题，对还有另外一种世界模型就是为了要重建这三维的世界，从重建这三维世界有很大的用处，你可以去规划你东西路线要怎么走，然后你可以就是让人去体验一下你人虽然身不在这个真实世界但你可以在虚拟的状态下去。 在这世界里面做游历，就是模型 for the world 来，然后因为你的用处不同，所以它的模型的形态长得不一样。嗯。终究我们是在同一个世界里面，这些模型就是不同的进就是经由不同的观察来去描述同一件事情，那种重建是重建是一个很重要的学问。 那我自己本身就是以前做过重建，但我现在已经不再在做重建了，我现在就是主要是做物理世界的理解跟物理世界的生成，对啊就是 Prediction 这些事情，就大家都会对世界模型有不同的解释啊现在定义什么叫 World Model。 嗯。在几年前呢同一件事情发生就是大家定义什么叫 AGI 对不对，然后经过这么多年还是没有一个共同的定义。对。对，然后我认为去定义 World Model 很可能会走向同样的道路，我觉得没有可能不是很重要的一件事情。 这是因为这个词太大了吗？过于笼统。对，是过于笼统那就是定义出来后对对这人类有什么影响？诶，那为什么 LLM 就是一个相对精确的词。LM 就是 Large Language Model 啊，它模型很大然后做 Language 对。 就这个词为什么大家都是一个有共识的一个精确的定义，但是世界模型大家一直在争论不休。对，LM 就是我是 LM Large Language Model，Language Model 就是可以 predict 接下来会发生什么词汇。嗯。对吧，Large 代表说它的模型很大。对。这很很明确。嗯。 对吧，就是世界模型就是一个可以帮助你去 Model 这个世界的一一一个工具。嗯。那你 Model 这世界一个工具你要做什么用途呢？啊，因为用途不同所以你 model 的世界方式不一样。啊。所以当只要你对这个世界这个模型有不同的用途之后就有不同的定义。 所以你觉得世界模型能够描述 Cosmos 吗？还是应该用另外一个词来描述你在做的事情？啊，是我我们一开始的时候我们是把 Cosmos 叫做那个 World Foundation Model。嗯。 我们目标是建立一个 Foundation 让大家都可以建出适合他们要用的世界模型，所以我们把自己叫 Foundation Model，是因为我们希望我们是一个更底层。更底层的东西来满足大家，嗯，所以我我所以我是这样我是这样，我们是这样定义的。就哪怕他是一个要做世界模型的人他也可以基于你的 Foundation Model 来做。是的。你是希望提供那个基座。是的，我们要提供这个基座，对，就是。 因为我们认为世界模型将是在 Physical AI 里面重要的一个环节，但不是每一个想从事 Physical AI 的公司都有足够多的资源去做自己要的世界模型，从零开始做。嗯。但他们又需要，为了帮助他们我们就做这个 Cosmos 这个 World Foundation Model。 因为你们也同时投资了 LeCun 的 AMI Labs 和呃菲菲老师的 World Labs，嗯，你们做的世界模型的差有差异吗？就是，呃，NVIDIA 是站在一个 Enable 的角度，我们希望就是啊凡在我们的这个 GPU 的 Ecosystem 上建立的公司，我们希望帮助他们成功。 嗯。我们希望大家可以一起走向成功，Win Win 然后，呃每个公司看到的点都不太一样，想解的问题也不一样，所以会有各式各样的啊就菲菲的 World Lab 啊杨立昆的这个 MI 都是不一样走不一样的路线，那我们都帮助他们。 然后也希望成功我们能投资他们，我们跟他们也有合作，那如果说他们对我们的 Cosmos 东西有兴趣他们可以利用，那呃其他家公司他们需要 World Model，但他们可能没办法不像菲菲或是杨立昆资金雄厚，对他们可能更需要帮助，他们可以 Leverage 我们的 Cosmos。 我们是目标是帮助整个领域成功，那这几家重要公司我们当然希望成功，但我们还很多需要需要去帮助的人，所以你们没有竞争对手吗？我觉得呃英伟达竞争对手就是跟英伟达做同样的事情的公司嘛，就是去做这个，这个整套 AI 的这个 Ecosystem 啊那。 呃你说没有竞争对手那有些公司也在做算力嘛，我在做 Cosmos 的时候我是不想竞争对手的，我想的就是怎么去帮助这个 Ecosystem，嗯，对在我这 Ecosystem 里面在 NVIDIA 的 Ecosystem 里面的这些用我们 GPU 用我们运算平台用我们软体的公司他们如果有成功的话。 那 NVIDIA 就会成功对吧，因为他然后会帮一些还没在我们 Ecosystem 的人会产生信心，那我觉得这是帮助方式，我不太想竞争，我已经过那个时期就是为了要毕业把论文发出去是我的算法要比别人好，是我现在目标就是要帮助这个领域可以一起往下走。 嗯，因为从第一代到第三代的 Cosmos 其实也经历了很多的变化。是。嗯，你们在第一代到第二代的过程中有没有什么积累什么农号？是的，就是第一代。这是去年的工作。对，这个步调很快，那那时候开始做那个 Cosmos 的时候，我强调一个点就是我们要迭代快速，那时候深受 DeepSeek 的影响。 啊。因为DeepSeek 是很惊人的公司它可以一年一年内迭代三次产生 DeepSeek V three 对，然后所以我一直强调就是我们要迭代速度快，啊迭代速度快的话可以一直不断的进步嘛一代比一代好。那但是我们那时候挑战的题目是这个物理世界模型，然后在那时候其实二四年不是很清楚。 就大家都还在摸索。嗯。什么样的世界模型对大家有帮助，那刚刚讲就是不外就是用世界模型是怎么用它，Prediction 或是 Understanding 啊，那就是做这个这种 Video Model 来帮助 Predict Future，然后我是做这种 Reasoning Model 来解释发生什么事情。嗯。 然后所以就是一一一开始的时候就跟一些伙伴合作去理解他们的需求，然后啊然后自己本身有一些想法然后就做出这些模型然后跟这些伙伴迭代之后再慢慢收敛，就是在过程当中就是慢慢的收敛从，然后我们那时候做了 Predict 之后。 啊可以预测未来然后想说呃仿真环境是大家常用的环境，但它的生成的这个 Video 就是跟这个真实世界的讯号有一定的差距，可不可以就是用这个模型来帮助它更啊逼真，那就做 Transfer 然后为了解释发生什么事情就做 Reason。对，当时是三个。 对，然后后来理解到说我如果可以去描述这个这个 Pixel 是被这个 Pixel 是怎么变化的，那我这个 Pixel 变化跟我这个 Action 的变化其实很接近的，所以我们那时候做一个叫 Cosmos Policy 给一个 Policy Model，然后后来陆陆续续地发觉就是就像刚刚讲的一样，这是同一个世界。 不管你从哪个角度来看，你 model 都是同一个世界。嗯。你模型就是在学一个 Internal Representation of the World，就是这个世界你在做压缩过程当中学到怎么样的一个表示方式，那既然是同一个东西，那还有一个东西就是 Foundation Model 它的核心概念就是一个可以纳百川。 就是可以从各式各样的数据里面去学会那个就是这个这个模式的一个模型，所以如果你可以把你从 Reason 用的 Data 从 Predict 用的 Data 从 Simulate 用的 Data 从 Policy 用的 Data 全部合在一起的话。 你这模型的上限更高。嗯。第一个你是描述同一个世界，然后第二个 Foundation Model 就是就是纳百川把东西合在一起，好那所以就慢慢的往这个单一模型走，还有中间还有一个是一种执行上的问题，我记得我当初去建了这个第一版。 Cosmos 的时候我自己算一算就是因为我我是希望真的模型可以帮助到其他人，然后跟这些 Partner 的合作是一样，我可能需要这个模型 ABCDEFG，我自己算一算那时候可能需要二十二个模型，然后那时候我就啊有个会议啊跟 Jensen 一起开会，我就跟 Jensen 说我预计需要二十二个模型，然后 Jensen 听到就觉得我工作非常认真他就讲了说 very good you know work very hard。 然后他想说但是你知道吗，Louis Vuitton LV 这家店呢，当它减少它的货品陈柜陈列的这个货品数之后，反而 Sale 是提提升的，你不希望太多的东西困惑你的是那个消费者。消费者。让他没办法做出决定。 那个对我印象很大，就是我理解到说嗯对我也自己也遇到问题，连我自己都分不清楚要用 A 还是用 B 了，那其他人更加不清楚，然后再就是执行上的困难，你看每个模型引你出来我们不是发 Paper 就结束走下一个 Paper，我们要去帮助使用者去用，那只要每个模型出来我们就要维护要解决问题。 然后当你有数个模型的时候就是啊很辛苦。嗯。贝多者利寡，嗯，然后影响到你迭代的速度所以啊在做一的时候是在理解的过程当中然后快速做二，然后在做二的同时就理解到不行。 啊就是这样做不长久，所以就决定要做这个 Only 啊 Model 的 World Model 就是 Cosmos Three，那就四个方向第一个是描述同一个世界。嗯。所以其实是可以合在一起的，然后第二个 Foundation Model 就是吸收各式各样的 Data 合在一起。 然后在开发上也简单很多，所以就是走向了 Cosmos Three 这条道路，所以二到三其实是一个大的变化。是的，一到二的变化是啊等于是数据的提升，还有一些那时候在二的时候把 Policy 带进来是有些变化，但我觉得二到三是一个很大的一个 Gap。 嗯。三做了多久？三从去年十月开始做，就是刚好发了二之后二月发，呃十月份发的二。对，其实其实那时候在呃大概是更早时期就知道说必须要做三。 然后但那时候已经开始二点五，然后把二点五收尾。嗯。然后把二点五收尾之后再开始做三，所以可能三可能就是大概是九月的时候开始知道说要做三，然后真正执行可能就是十月十一月，然后做了将近半年对超过半年。 一个中国做世界模型的创业者，他说他看 Cosmos 三论文看了一周，嗯，而且是每天看里面有很多的细节，嗯我觉得他们的观点是说就是觉得 Cosmos 三它在技术的大的创新上不多，但是他把很多的细节工程验证出来了，你觉得他们这个评价中肯吗？ Mixture-of-Transformers 之前也有人提出。嗯。然后 Policy Model 之前有人提出，我们是第一个把这个 Mitchell Transformer scale 到这么大的模型，把 Audio Video Action 都合在一起。 然后这些东西呃从概念上来讲就是东西合在一起，但你真正要把它做出来不是那么容易。嗯。那真正做出来就是这些细节所有的啊这些大语言模型都是 Transformer 架构，那你可以讲大家都没有创新。 嗯。但是它的那些细节会让这个某些模型比另外一些模型好很多，我认为就是这么多年之后我就更加重视那个啊这东西能产生的效果，我就往往越来越不重视这些东西是不是革命性的一个。原创。 原创对。嗯。对我来讲它有用产生 Impact 解掉大家能想解掉问题是它的重点，对那这个 Paper 我们是希望帮助整个开源社区，啊就是做开源模型帮助到整个 Physical AI 那我们这几年看到的现象就是这些 Frontier Lab 很多都走向闭源。 然后即使写 Paper 也不愿意讲出那些关键的环节。嗯。那我们决定走不一样的道路，我们把能讲的东西都讲得起，能就是把就是尽量把东西讲讲得非常的清楚，然后能就是我们开源这个模型也开源我们怎么去训练这个这个模型的框架。 然后部分的这个 Synthetic Data 我们也都开源了，我们就是希望保持透明让大家看到怎么做，也希望别人可以利用我们开源东西做出跟 Cosmos 类似的东西，如果他们有这个兴趣的话，我们目标就是 Enable 这整个 Community，对我。 ## 转写 02:00:00–02:20:00 不担心别人可以做出一模一样的东西 嗯 我想到你刚才提到 DeepSeek 你你选择开源跟它有关系吗 嗯也不算是有关系就是 啊 DeepSeek 它的工作对整个 AI 的影响非常的深远 第一个把 MIT 跟 SFA 啊这个开源的一个公司 然后你看它最近的模型它的用心把这个把这个逼到极致 这些对整个领域都产生了深远的影响 嗯对我觉得这很重要从这影响的角度来看我觉得是相通的我们是想产生影响把这些细节都讲出来 NVIDIA 有很多这个建在 NVIDIA ecosystem 上面的 Physical AI 的公司 那我们希望帮助他们成功我们的目标可能跟 DeepSeek 不一样 对我们是希望帮助我们的使用者成功 你们天然就是这个生态了 对我们就是希望就是那个啊希望可以帮助这个这个这个 Physical AI 降临世界快一点 嗯你们在这次为什么选择首先在输入层同时能够输入语言 Video Audio 和 Action 这是一个重要的决策吗是 是我觉得就是这个世界不是只有视觉对吧然后也有听觉 嗯但我也想加入触觉但触觉的讯号还不好这个 touch sense 这些东西还啊我觉得还在快速迭代当中 这个需要灵巧手 对需要灵巧手需要数据那我觉得大模型啊基本上思路有两个 一个是让 Language 当成 First Class Citizen 就像 Coding 啊像 Chat 嗯另外一种是让那种视觉讯号 Video 当成是 First Class Citizen 嗯像 Science 啊像 Vell 我们认为物理世界的模型跟这个数字世界的模型最不一样的地方就是物理世界的 Agent 会 take action 会改变这个世界的状态 嗯我们认为一个好的物理世界的 Foundation Model 也要把 Action 当成 First Class Citizen 嗯这是为什么我们把 Language 哦 Video 跟 Action 合在一起建这个 Cosmos 三 嗯我记得以前杨植麟跟我说他们做语言模型他就是把语言当做最重要的呃智能提升的工具 对 他们会很担心 Vision 加入进来就是影响它的智商啊变成一个傻的多模态是但是谢赛宁今年 年又跟我说他说他担心语言对于视觉的污染对嗯他觉得呃语言才是人类的绞手架并不本质 这是他的观点 是嘛所以你怎么看待他们这两种观念 以及你把他们这些讯号都训到一起的时候会出现问题吗就互相的污染 这些讯号他们带进来都有他们的目的就是 Language 可以把这些人类的 Knowledge 带进来 然后也帮助人类跟这个这物理 AI 做沟通对吧 然后 Video 是大量的视觉资讯然后 Audio 大量的听觉资讯 啊去描述这个世界怎么运作 嗯那这个更几用用这个 Video 更精准地去 capture 这个世界的物理运作用 Language 反而很难 对吧但是人跟这个模型这个模型最后建出来是要服务人的嘛嗯那你他不懂 Language 你是没办法跟他沟通的 啊然后这个这个模型之后是要帮助这些 Machine 去 take action 的所以它不懂 Action 它是没办法去改变这个世界的嗯应该这样讲吧就是呃我们的目的不同 嗯对我我的我的目的是希望这成为一个好的 Foundation Model 来 for Physical AI 它需要懂 Language 需要知道这个东西怎么变动然后 Action 然后经由这个 Contrast 我们把它合在一起去做那我的目标不是去追求 AGI 对然后那 AGI 本身也很难去定义嘛嗯当你 你定义的 AGI 就是纯粹要去解这个了解这个人类的本质的时候或者什么啊去做 Coding 的时候可能这些视觉讯号会影响到你那是必然的对吧嗯 遥远的古代是没有任何语言的然后这一切人类的文明的发展就是经由这个看这个世界怎么变动而产生的 那你可以觉得因为啊毕竟这个这个语言是发展适合人类的但你不知道机器是不是接受这一套也许你就从这个 视觉讯号里面直接去学这个世界怎么运作得到一个 Intelligence 然后发展出另外一个文明那从角度看也许语言讯号是一种干扰对 那我觉得是看你要的是什么嗯我很明确的知道我要的是什么所以我觉得我需要 Language 让人可以跟这个物理 AI 沟通 我需要 Video Audio 去去描述去去去从这个物理世界的变化啊就是去学会这个物理啊本质需要 Action 因为我希望它最后是可以 for Physical AI 去改变这个世界 嗯对 所有模态融合到一起这些模态是相互 Benefits 的还是相互制约的 在过去呃一年甚至超过一年之间我们都一直在研究把这些模态的融合 那我们从各个不同的研究里面得到一些线索在 Cosmos 三的时候把它结合在一起 比如说在 Cosmos Perceive 那篇 Work 里面我们就发觉把 Video 跟 Action 合在一 起是帮助 Action 的对就是当你在呃直接 predict Action 的时候啊就是当我们在做 World Action Model 的时候我们发觉就是除了 predict 你要做什么 Action 你也 predict 接下来take 这个 Action 之后会产生的 State 就是 Observation 是帮助你做训训练呃收敛 所以我们知道就是 predict 那个 Video 是帮助 Action 的啊这是 World Action Model 的的这个这套系列嗯那声音也可以帮助 Audio 呃声音也可以帮助 Video Generation 当你照咔一声碰到一个点你就知道接触的时间是那个点所以知道这个是有互互相这个互辅的然后 一般做 Video 的人都知道就是从文字到 Video 这是一个呃循序链变大的过程啊循序链变大代表说有很多种可能性 很多种可能性的方方选是比较难去学习的嗯就是你一种东西可能十种可能啊这东西就没有固定它比较不好学 所以在做 Video 或 Image 大家都会发觉就是当你的那个文字描述非常详尽的时候这是比较容易产生好的一个 Video 哦 所以你可以知道就是文字啊的详细描述也可以帮忙这个这个 Video 那我们做这个 Cosmos 三啊就是想把之前 啊这些 Cosmos Reason Cosmos Predict Cosmos Transfer Cosmos Perceive 这些东西合在一起合在一起本身就有它的好处了整个东西都简化了 那这些讯号怎么合在一起让它产生互补的作用而不是互相啊抗拒的作用 这是可以经由实验的设计经由这个 Data 的比例的调整来来达到的所以我们那时候是坚信着这些讯号都是描述同一个世界 这些讯号都含有这个世界怎么运作的资讯是应该有一种方式让它们合在一起会互相帮助 嗯更多讯息帮助你了解这个背后的运作的原理是什么所以啊有这样的 Belief 然后从这方向出发 在这里面有什么 Secret Sauce 吗在互相 Benefit 上 其实做大模型没有什么 Secret Sauce 做严格的实验假设实验看到结果累积知识再做下个实验就一步一步一步往下做走扎实地做就对 没有什么我不觉得有什么就是不可告人的秘密就是你要追求的东西耐心做实验验证对了下一步就这样走 嗯因为你们这次采取的是一个双塔的呃设计呃一一个塔在 呃处理离散信息一个塔在处理连续信息嗯为什么采取这个设计 嗯有很多个原因啊一开始的时候 Cosmos Reason 就是离散的啊从那个 Vision Language Model 出发那 Predict Transfer Perceive 是连续的所以啊 就是我们知道离散的 Work for Understanding 我们知道连续的 Work for you know Generation那把它放在一起吼就是一个啊现阶段很合理的一个选择 嗯然后再就是呃有很多种用 Cosmos 的方法但常用的是做 Post Training 就是也许用你的 Video Action 的 Pair 来去 train Generator 然后或者是你只想用 Reasoner 啊就用你当知自己 Domain 的这些 Understanding Data 来 Train 当你有两个这样可以合在一起可以把拐点的影响切开的是帮助客户去使用的如果我们全部连在一起好那这是 Generation 跟 Understanding 在一起了 好我现在要换这个 Generation 的 Distribution 在换的过程中因为全部都连在一起你的 Data 也会改变你 Understanding 那边的表现如果你没有两个 Tower 你是一个的话 那 Understanding 那边既然要改变那你的 Data 又没有 Understanding 的 Data 它很容易这个 Understanding 部分就流失了好那就不方便客户使用所以分成两个是对使用上是有一定的帮助的 啊虽然它相对起来还是不够 Elegant 啊因为你还是要事先决定它的架构在整个 Deep Learning 就是让 Data 来决定啊这是怎么说而不是你人为去去做区分 但是在这个阶段我觉得这个东西是比较合理比较适合它使用那讲到这个东西也可以大家可以猜出来就是我们下一步目标是更加简单一点啊为什么要两个 Tower 一个 Tower 就够了 啊但是我们在往 一个 Tower 东西的目标前进的时候我们要考虑到这些使用者是不是容易用上它嗯因为我们不是我们的目标是帮助大家赢而不是自己就是产生一个就是可以做很多事情的模型我们相信 机器人每个都不太一样有个啊相机的数量相机的位置啊然后自动车每个都不太一样我们需要我们觉得需要克制那我们要即是合在一起去追求这个工程的这个简约完美哦 我们要考虑到使用者是不是有办法去利用它那这是我们必须要研究的课题嗯 但是相对来说呃离散的信号更好处理把融合进了连呃连续的变量之后它的处理难度会变高你们怎么合在一起并且能够把它 Skill 上去呢 对现在呃有一系列的 Work 像 Transfusion 啊它是可以同时处理这个离散跟连续的嗯在做 Next Token Prediction 的时候它是做离散的然后在做 Diffusion 的时候是连续的可能是从同一个 Tower 然后这段时间也有很多种不同的啊就是变异大家在研究这个大家都关切的问题这些讯号啊可以用离散表示也可以用连续表示 然后我是希望也许是不是开发出一种架构是全部离散或者全部连续嗯啊让事情相对变得更简单一点啊那但这是一个理想也不确定能不能成功也要做一步一步的实验验证啊往下走 直觉来看离散更容易还是连续更容易啊 嗯各有各的好处啊离散比较好做训练啊然后连续它有它的啊漂亮的地方啊就是在做 Inference 的时候他们两个是很不一样的一个呃 Shape 然后最后最关键的就是呃最后客户还是要部署啊部署的时候一些成本的考量都很重要 所以我觉得最后就是会根据部署是最适合啊什么样的怎样的模型最适合部署啊就我觉得是最容易获得成功所以有很多的方向要要继续聚集在这里讨论 有一个研究员问你因为你现在是把所有的模态都训到一个模型里去那理论上就是它也可以 Coding 做得很好也可以呃让机器人能够运作然后也能够生成我们现在这种创作者的内容对那它有可能在这单一维度比如说 Coding 上 比 Cloud 还要强吗 我还是喜欢讲这个孙子兵法讲的备多则力寡 对就是如果你什么都要好的话呃你但就是在训练过程当中你要博学多闻你要触碰很多不同的呃类别让你提升你知识水平 嗯当当你确定你只需要用这个单一的 Application 的时候是不是有些调整是因为你你不 care 其他东西了有没有东西是你愿意放弃 然后就是做比较好啊因为如果你什么都不愿意放弃的话你就会打得很辛苦 嗯我觉得策略往往就是关乎着你决定你可以放弃什么东西 这双塔之间会互相的提升吗 我们知道就是呃我们在这个 Paper 里面有个实验就是说啊当你用更接近 Physical AI 的 Reasoner 的话可以帮助你更啊做更好的 Physical AI 的 Generation 然后我们也知道就是说如果你可以把 Generator 的拐点传回这个 Reasoner 的 话啊理论上是可以帮助你的 Reasoner 做更好的那个就是 ReBehavior 学习在这 Paper 里面受限于时间啊我们并没有做成完整我们想所做的实验 而且很多实验了但是就是啊这件事情啊这个 Foundation Model 开发本身就是一个很耗时然后一个决定就是都是两三个月前就做了然后很难快速的去做一些啊就是调整啊我们是我们不把这个三看 能是一个终局啊就是我们会继续做三点一三点二啊一步一步往下提升把一些我们想做进去的能力想做的一些研究这次没有机会把它给呈现的继续补下去 嗯除了可能会更简单双塔有可能会变成一个塔还会有什么在未来模型中可能大家会看到的一些变化 我们很关注的就是这个模型怎么去帮助那个 Physical AI 的 Builder 嗯好然后这个模型推出去之后啊据我所知就是大家都在讨论然后有些啊 No Partner 一些同学都给了蛮不错的 Feedback 泛化是一个核心的问题任何 AI 的核心的问题嗯那在物理世界 AI 里面我觉得一种啊我们需要达到泛化就是假设我今天啊教机器人说我的衣服我喜欢这样折然后喜欢这样放 我就给这个机器人看一两次我怎么做 它是不是就可以快速学会嗯在在现实生活中啊就快速学会这个东西 然后是不是给这个这个 Physical AI 读了说明书它就知道怎么去操作这个仪器怎么在这个工厂里面做那个检测 那我觉得这些东西是很重要的能力是 Physical AI 能达到的那当然这些在落地的时候有很多考量我是想说在这个 Foundation Model 部分是有什么东西我们能做的然后可以来帮 助这些 Physical AI 的 Developer 所以我们中间的提升可能都是会朝着这些啊提升这些泛化能力啊的角度来去啊把这些东西加进 Cosmos 模型里面 比如说你们为这个有哪些具体的优化呀 优化是像加速那些是一定会发生的啊我们我们当然是希望这个这个模型可以啊就是越跑越快啊然后呃然后另外一些优化就是能力的优化泛化的优化 对那这个东西就是啊可能会改一些架构上哇或是一些 Training 的 Objective 的改变或是用一些啊特殊的就是 Curate 的 Data 来做这个训练不是很清楚就要测试哈嗯 它是一个实验科学对是实验科学啊就是我常常觉得那个 Deep Learning 就很像中医一样啊就是试出来的试出来的对然后那 个在试的过程当中你做详细的实验记录从里面去理解那个中间的法则嗯然后我觉得这是啊是很有趣这两个东西我觉得很像 然后我觉得做严格的实验然后控制变量然后得到一些关键的结果是啊这是模型啊迭代的重要的那个一步 嗯也有研究员提出这个模型的语言渲染是不是可以把它的比重加得更大一些因为他们还是认为 LLM 是提升智能的关键你认可吗 我觉得呃在早期的这个 Image Generation 的研究包含 Imagine 啊Google 的 Imagine 里面就提出了当你的 Language 的 Understanding 越强你用更大的 T5 Model 你的 Image Generation 能力更强嗯我是相信的你用更大的 Semantic Representation 应该有帮助啊我我是同意的毕竟 Physical AI 的应用跟这个 啊大家常讲的跟 Coding 啊或者 Chat 是不太一样嗯啊所以还是需要做一些实验的验证我想做的事情是了解真正的痛点 然后从这痛点里面去去找到合适的方式来把这个模型能力补强有些大家得到的讯号那更好的这个模型嗯当你没有资源的限制的时候你当然是会放进去啊但呃比较有挑战的就是当你资源有限的时候你怎么做取舍 嗯所以也许对于场景来说智能可能不是那个最关键的变量 你需要你的机器人会学奥数问题吗你需要你的机器人会解这个 Coding 的问题吗嗯我觉得你可能更关注它能不能把你的这个工厂要组装的东西做好或家庭的卫生啊 啊就是把它这些操作把它做好对吧 所以我觉得啊这个你要解的问题似乎是跟这些大语言啊模型公司这种 Agent 公 司要解东西是有点不太一样嗯啊然后所以啊既然是不一样的题目然后最后这个解这个题目的这个成本啊都是一个重要的因为如果要商业化最后成本都是一个重要考量 那在这些条件之下它的架构真的会跟现有的这些 For Agent 的模型是一样的吗啊这是我一直在思考的问题 你现在有初步的答案没有有没有一些直觉过去的啊就是纵观人类的历史 ## 转写 02:20:00–02:40:00 答案就是应该是不一样。对吧。啊然后你你你你要做耕田的工具跟你要做纺织的工具是不一样的，所以其实产业的不一样最后。就是。唉备多则力寡。是吧。嗯，老祖宗的智慧还是蛮管用的。嗯嗯。Cosmos 你们未来会投入多少卡和资源？这个我们一直在提，在卡一直在提升当中。我不知道我这边方不方方便讲这个这个卡的数量，但就是啊我们希望。啊我们已经在万级了。然后希望可以在。更多更多。嗯，这会是英伟达最重要的一个模型的项目吗？英伟达有数个模型项目。然后呃，我们主要是把它分成两类。一个叫 Agentic AI，就是要做这个 coding chat，然后去 Agentic 这种 Digital，呃Intelligent 的这这套这些客户的需求。嗯，在这里面我们有这个 NeMo 的模型就是他们。啊这个团队最近release了这个Nemotron 3 Ultra得到蛮不错的效果。那在Physical AI这边主要就是Cosmos这个模型。Cosmos是一个base model 是一个bubble model。那NVIDIA也很关注自动车。也很关注机器人，嗯，然后也关注工厂。对我们而言这些都是Physical AI的应用。那在自动车上面我们就叫它Alpamayo的effort。它呢是在。Cosmos上面做的啊specialization，就是专门做自动车所需要做的这些呃优化哦。那Groot呢是在Cosmos上面对机器人呃相关的优化，然后还包含这些 whole body 啊，控制的这些东西，我是把这些啊做自动车内部做自动车做机器人，这边看成是也是我的客户嗯，然后也希望帮助他们成功。嗯，然后在Physical AI这边就是Cosmos为核心来去。辅助这些主要的domain啊的这个啊开发者可以获得成功。嗯，所以主要是两个，你说是不是最重要呢？这两个都很重要啊。Digital AI 啊，这个怎么用agent怎么做coding很重要。那Physical AI也很重要，很难讲谁比较重要。嗯，对，但现在打的最火热的就是这些Agentic AI的东西。那Physical AI是下一步。Physical AI在你们看来会是一个多大的市场？这个应该是一个巨大的市场啊，我我不确定这个估这个市值不是我的专业啊。然后我也不方便代表公司讲多大啊但是啊这个啊随着人口的老化，啊随着对制造业的啊自主的需求，然后还有各式各样的啊应用，我们觉得这将是一个巨大的市场。嗯嗯。因为世界模型现在缺乏有效的评估方法，你们有一些呃好的探索吗？啊世界模型啊大语言模型大家都在追求更好的啊评估检测的方法。嗯。然后呃，就是一般来讲啊模型的评测有三步。第一步呢，就是Benchmark 啊，就是有一些啊固定的data sets，你去量上面两侧它的quality。然后第二种是Arena Style 就是A跟B比看谁比较好，那第三种呢？就是啊跟着aspect啊，去真正有这个痛点的人，然后去去解这个问题。那我觉得这三个都很重要，在Physical AI里面第三个特别重要，因为每个嗯就Coding Agent 大家都在解Coding 的问题。嗯。对吧，digital 的use 问题。在Physical AI每个要减的问题都不太一样。对。对然后所以啊我在更加强调就是跟这个客户啊跟这些啊愿意一起合作的伙伴一起去了解怎么样去。评估一个模型真正有用还是没有用。嗯，这不是件容易的事情，这个是给模型发展指引方向的重要一步，我觉得在未来的发展当中，这一步会越来越重要。数据也是一个难点，你们这次是怎么怎么做的？数据是一个难点，尤其是在Physical AI更是困难，因为Physical AI每个形体都不太一样。然后收集数据，你没有那个没有那个Physical的set up 就没有办法去收集这个数据。嗯。然后在因为大家都更加的困难，因为我们是要服务各个Physical AI的的这个开发者，每个的机器人都不一样。所以我们能做就找最容易共同的，觉得就是Physical AI data主要有两种，一种是Navigation的data，嗯，从A到B。另外一种是Manipulation的data 怎么用那个手或是tool去操作啊完成啊既定目标。那Navigation data比较容易做，就是就是你Kinematic怎么动车怎么动机械怎么动这些都可以收集，那机器人A跟B即使他们不一样，但他动起来就是在空间中位移。嗯，有时候可能加一些旋转，所以是比较相同的。那操作这边就比较复杂，我们发现一个趋势就是呃大家越来越追求接近人手啊的这种这种机器手臂。嗯，然后论点就是说啊这世界人类的世界是建出来给人类用的，所以大部分的工具都是适合人手去操作的。那整个AI呢需要大量的数据，然后如果你的数据越好取得，你就容易更更快得到突破。嗯。所以大部分的收集数据者是人人就是手，所以两个环境两个条件啊，就是人手适合收集数据，然后这个这世界是大部分建给人手的，所以就今天看到大家往人手的方向啊前进。嗯。那所以我们在这个Cosmos Three 的时候啊，也就是啊特地把这个Ego Centric的data给加进去。就包含了这个人眼怎么看这个东西从第一人称，然后还有人手怎么去操作这个物件，所以因因为我们的目标不是不是去做出一个机器人啊我们目标是帮助大家可以做出很好的机器人。所以我们要找最容易可以互通的东西，那我觉得Ego Centric data是非常重要。在刚才说的那些现在的限制和局限之下，英伟达有显著的一些优势吗？在英伟达获得GPU运算的成本比较比较便宜啊毕竟我们生产GPU 嘛，然后再就是我们在Physical AI这边已经生根多年了，我们有这个Thor 这个 chip 然后也有这个Isaac Simulator 然后就是啊所以我觉得这些东西合在一起，我们提供更多的啊工具来满足各式各样Physical AI开发者所需要的需求。那呃还有一点是我们是真心想帮助其他家公司成功的。因为我们啊就是我们很清楚自己能提供的服务在哪里啊，然后呃比较不会有这种呃一直就是比较我我觉得客户往往比较愿意跟我们一起合作，因为我们是我们不会说就是跟你做一样一模一样的东西，然后把你啊就是。灭了。对，不是这不是我们的目标，对。哦。嗯。这个模型让你非常满意的一点是什么？然后让你有点遗憾的可能是什么？满意的一点就是呃我当初跟大家讲说可以把过去的所有模型合在一起，还会做比全部之前的模型都还要好。这件事情发生了，我们现在的模型比过去单独独立的模型效果都比较好，啊那时候很多人不相信，那我觉得很开心。然后第二个就是这个是我们第一次就是啊把整个团队原本是建造数个模型。现在合在一起建一个模型，这样把这么大的一个组织大家凝聚在一起去建这模型，我本身也很骄傲，就是这件事情可以顺利的发生。嗯，遗憾的是什么？啊，我觉得我们的模型就是因为时间的限制啊，其实啊我觉得模型还可以继续提升，但是因为时间限制我们没有让它完全收敛，就必须要那个退出了。然后还有很多想要改的地方，在之前都没有时间改，啊那啊所以就是觉得这希望是毕竟就是想要追求啊更好的结果，啊那时间有限，但好处就是我们继续会做三点一三点二会把之前没做好的东西再把它补进去。嗯。你有想过像老黄说的做到九十七代会是什么样子吗？那时候听到九十七代我的理解就是我们有决心就是一路把它做下去，把它做好。嗯嗯，然后这是一个很大的commitment 因为这个做这个模型是很耗费资源的。然后啊他展现出他的决心就是往下走，我得到的信心就是这个东西会一直往下走，那世界模型最后就是接近这个世界。对。接近这个世界。接近这个世界，从透过那模型你可以去啊学习你想在真实世界里面学习啊的东西啊，那我觉得就是是往那方向走。那其实最接近的就是你有能力随时可以做出一个黑科技国的之举，我觉得就是最终的样子。那我不确定是不是需要到九十七代，你看我们如果啊就是每半年一代的话，那还要四十几年对吧这样。四十几年。对，然后我觉得现在AI的发展速度极快。也许不需要到四十几年。因为你们团队又有做呃数数字世界的模型，又有做Physical AI的模型，你觉得像这两种模型的差别是什么？差别大吗？这个目前的状态是这样，就是在Nemotron那边他们用一个叫做那个uh Hybrid 的uh architecture 啊，就是某些层是这个传统的Transformer 但某些层是这种Mamba Style 的这个接近RN的这种架构。那这样的架构有它的好处，因为那这种RN的运算是比在Inference时候的运算是比这个这种Transformer是便宜的。然后Agent有一堆token要产生，嗯，有时候你要token 要要agent做很久的事情，所以这个是运算成本的需求。那Physical AI这边我们的架构就不太走这个路线，我们是还是走比较传统的Transformer 但是我们走到这个Mixture-of-Transformers 然后把这个Action加进去，所以这两边的模型的发展是就是渐渐有点不太一样。但我们两个团队之间啊紧密合作，你可以在Cosmos Three的这个paper里面发觉很多作者是从Nemotron来的。然后我们就是啊跟他们合作吸取他们的经验，然后一起去建一些模型。对。在未来这两个模型有可能统一成一个更大的模型吗？这都是有可能，就是啊我们的角色很简单，怎么样可以帮助客户最好，我们就这么做，对我们是很no ego 的。刚才你也提到就是呃Cosmos是一个非常大的团队。对。嗯，你觉得驱动这么大的一个团队一起工作，呃，难点是什么？我印象中论文好像有两百九十多人，不到三百人对吧？对，就是啊这个团队非常的大，然后呃我是这样看的啊，这是一个组织架构的难难题。你希望所有人目标一致，但你又希望所有人可以自主做决定。当全部人的目标一致，但每个人都不能做决定的时候，进展会很缓慢，因为只有少部分的决策者可以做决定。嗯，那这些决策者假设只有我能做决定，只有我能决定这个这个data的比例怎么调，只有我能决定这架构怎么做，那我们这个模型就不会成功，因为我的知识有限，然后我的时间有限。然后我们需要的就是每个人都可以做出对这个组织对这个模型发展重要的决定。那第二个事情就是如果大家都可以做决定，但大家目标不一致，我就是想把Action做好，我完全不管video怎么样，然后我就是想understanding做好完全不管其他的。嗯。这样就会发散然后可能就会产生不同的架构，然后可能就进一步有赛马的行为。嗯。那我觉得跑这么大的一个project 最重要就是让大家的目标一致，但每个人又可以做出决定。然后这在组织架构上面啊我花了很多心思去设计一些团队运作的这个合作的方式，让资讯透明化，让每个人都有足够多的自信去做出对组织正确的决定。那当然我们也提供了容错的空间，因为当一个人害怕他决定错误的时候，他是不会做决定的。嗯，所以你要让他们可以做决定，但也要接受有些决定会错误，但是错误的时候要能快速修正。这些都是需要一些时间啊跟一些啊训练，才能让整个团队可以朝这方向前进。怎么让两百多个人都同时做决定啊？这个好难啊。大家都清楚整个关键，这个整个project 之后要达到目标是什么。嗯。你要一直去把未来给划清楚，跟每个人讲在Cosmos Three paper出来之前或做完之前，我就跟啊主要的几个leader 还有各大部分团队都已经讲过，说我们做出来模型会是这样子。嗯，那是不是完全这样子呢？可能百分之九十相似，百分之十不相似。但是当大家都看到同一个愿景的时候就比较容易集中，就像你在啊在一个篮球选手你在罚球之前你都会想象这个球空心入网。就先把那个目标给定出来，然后大家再朝那方向前进。嗯。那当然每个人扮演扮演的角色不一样，然后当大家看到同一个picture的时候，就比较容易在他的岗位上做出对这个团队啊正确的决定。嗯。你设计了什么样的管理方法让大家的信息能更透明，能更好的协作？有什么样的管理的技巧？就用点心思了解这个怎么样讲大家会懂。嗯。注重沟通。注重沟通，会开例会这样的会议吗？我是一个呃就是我很讲究团结合作。嗯。啊所以我们的会很多啊，但是啊不是每周一次我们每周可能十次有吧。啊。每周？应该超过十次。超过十次，所有人还是多少人？跟主要的Leader 每个比如说我们做video 的就是定期开会的，一周两三次吧。嗯。然后做understanding 也是定期就一周两三次，然后还有各个环节的就是两三次就是啊就是会蛮多的，然后会议上可以做一些沟通啊，那当然会议大家会觉得就是开会啊，有时候很没有效率。尽量做的一件事情就是让每个会议都更加engage 啊，然后让每个人都能参与啊，这都是需要一些一些训练啊让让这个团队这样，那永远不会最高效，你可以你可以大家都不开会各做各的。那不见得会成功啊，你可以一直开会什么都不做，只是讲也不会成功，你就要选一个均衡在不同的时间点会有不同的一种调配方式。那这个东西都是啊因任务因时而定，而没有说一定的公式哪一个一定会成是最好。你看硅谷现在大家说OpenAI的企业文化是自下而上，Anthropic 是自上而下，你们属于哪一种？我们是都有，一个都会走向极端吧。天下分久必合，合久必分就是东西就是啊物极必反嘛，就是我觉得都是要掌握这个就是在那个时间点，了解什么是对这个团队最正确的事情，而不是就是一一味的循着一个方向一个模式来操作。嗯。我理解Cosmos的爆发的时间点和Physical AI和机器人的爆发可能会有是是正相关的对吗？你觉得这个市场会在什么时候迎来一个所谓的ChatGPT moments？大家都在追求这个Physical AI 的ChatGPT moment， ChatGPT Moment 什么叫ChatGPT Moment 呢？ChatGPT Moment 跟GPT Moment有什么不一样？GPT Moment 是跟我们讲说东西可以scale。Scale 之后模型能力会更强。ChatGPT Moment 是让大家清楚看到这样的一个scaling ，这样一个好的模型对人的生活会产生什么样的变化。大家发觉这是一个有智能体可以跟他沟通，可以跟，可以问一个知识广播的朋友。那什么叫ChatGPT Moment for Physical AI 呢？应该是指说大家看到一个就是以AI为主的啊这enable 的Physical AI 的应用。让大家清楚看到说这东西是真的有用。那这东西什么时候会发生，这很难去预测。然后当我看到是整个领域对这个Physical AI 的兴趣越来越大，流入的资金越来越多，越来越多的有志者创立公司想去解决这个问题。呃Physical AI 可以利用在Digital AI 上面的成功，所以我觉得各项条件都逐渐在收敛当中啊，我是希望尽快看到ChatGPT Moment 也许今年也许明年，我不知道，但是我觉得它必然会发生。你觉得人形机器人会在这个赛道里面成为主流吗？我觉得人形机器人它的优势就是可以利用大量的这个人的啊数据来获得啊就是啊就是学习啊的素材，然后来提升这些效果。啊但人形机器人它本身啊就是越像人有腿啊有手啊，然后这些东西就是啊相对的啊复杂度也比较高一点，然后很多人都在做轮型的，啊只有上半身是人，但下半身是一种这种移动平台。嗯。那这样的平台也可以解掉很多问题，那你说这样的是人形机器人吗？我觉得也是吧，就是半身像人对吧，也不是全人形啊。然后像全人形的某些人形也更接近人形，那有些人形比较不接近人形。那我觉得人形机器人终究会是一个重要的这个就是关键哈，但是多向人行这件事情大家都在都在那个尝试当中，我觉得最终最终可能就是全人行是最啊最最适合各式各样的操作，因为这个人类这个环境就是设计给全人形的。嗯。好，但最后还是要一关键还是这个营运成本到底怎样是最最这个最经济效益最高，啊那这就超乎我的专长，我其实不知道。那我的目标是满足帮助这些各式各样的Physical AI Builder 我也不需要做选选择，啊我就是聆听他们的声音，看我们的模型怎么做可以更加帮助他们。嗯。DeepMind 谭杰老师他有一个预测，他是觉得二零三五年到二零三六年可能是人形机器人成为主流的一个拐点。好是吧？嗯嗯，OK 对我我希望早一点，但我不确定。嗯，你觉得世界模型可能会有一个所谓的拐点吗？我觉得世界模型并不是新的啊，这早就有世界模型了。嗯。 ## 转写 02:40:00–03:00:00 那我觉得世界模型会一直在做啊就是性能的提升那我们在大语言模型上面看到模型越来越好对不对然后我觉得在世界模型上也会看到越来越好我们这次在 Cosmos 上也做出这个一个呃比较不一样的世界模型这种 unimodal 的 world model 对所以我觉得还是有一些变化然后我会需需要一点时间去让大家去吸收消化一下啊因因为啊 毕竟这东西不是这个模型出来后直接可以使用是必须要看怎么调配可以在这个啊就是机器人场景落地那我觉得这需要点时间那我觉得这这会也还会继续变化啊对会一直进步会一直变化 因为你说你要为机器人构建一个黑客帝国嘛那黑客帝国讲的本身就是一个人类沦为了机器的活体电池然后活在一个虚拟世界 Matrix 中然后一个觉醒的人试图挣脱这个呃系统的宿命然后来终结这个循环那你现在为机器人打造这个 Matrix 如果有一天机器人要觉醒了想要挣脱这个虚拟世界怎么办 我用黑客帝国的地方是帮大家具象就是有一个世界模型这么快去加速学习很多人担心啊就是 AI 当它能力太强的时候会啊 take over the world 对就会把我们给 eliminate 嗯那我觉得这个社会是人去建立的这些科技是人在背后操作我觉得只要大家是有共识我觉得就是这件事情是呃不会发生 然后再就是我啊这里就比较哲学一点了我觉得pain 跟 suffering 是一种驱动人啊去进步的一个重要的关键不是很确定这些 silicon 做成的 intelligence 是不是有同样的 pain 跟 suffering 然后我心里是产生存疑的状态啊那我当然知道就是呃我们希望这个科技可以大幅度的改善人类的生活那我们也需要做出这些啊相对应的啊就是 guardrail 来确保它就是啊不会去影响这个正常世界的发展 嗯说到世界模型其他做世界模型的团队会把你当当做竞争对手因为大家觉觉得你也是做世界模型的但是你一直在说我我不是你们的竞争对手对吧你有什么想对他们说的吗 世界模型是个工具对然后工具是解决问题有好多种不同问题要解最终要解的问题只有世界模型是不够的对吧然后取决于你要解的问题如果如果说呃因为我们要满我们要去服务这个整个 physical AI's ecosystem 我们要建这世界模型让大家模型可以用然后physical AI 的问题本身又特别的难有好多其他问题要解那如果你可以跟我们一起合作啊利用我们做的东西那你可以走得更快更远嗯这不是很好的一件事情吗对不对啊那呃那我们都是才开源的状态那如果说呃你用我们就是做出比我们更好的模型那这模型也是开源的让大家可以用那我们也是帮助整个 physical AI system 所以你做得比我们好我们也觉得这是一件好事对吧我我觉得大家一起团结合作去解掉困难的问题是一件啊很值得去做的事情那当然彼此间啊就是啊就是互相抵触就是赛德嗨吧然后越来越往上爬那也是很重要的一环对 他们肯定会说哦英伟达又想来卖我卡了 对那你需要做运算嘛那我们这个呃现在这个英伟达的生态在这里有很多东西可以帮你去啊利用的那Why Not 对吧你要做一个生意都是要做投资的嗯最重要的是你的获利是多少而不是啊像这些Cloud Company 他们买了大量的 GPU但他赚了更多的钱对吧 你们内部会讨论什么是下一个 CUDA 吗有可能是 Cosmos 吗 过去的软体是鉴于逻辑然后 CUDA 是帮助把这些 Application 所需要逻辑转换成 GPU 的运算未来的软体是AI为啊这核心的那 AI 是 Beyond the AI然后所以我们觉得啊做的 NeMoTrance 跟这个 Cosmos 都可能是未来的 CUDA 因为外外部会对 CUDA 有非常多的复盘但作为呃你的视角你觉得 CUDA 是怎么做成功的它需要具备哪些要素像比如说现在 Cosmos 它具备了哪些不具备的是哪些它是一个可复制的路径吗 我不确定这是不是一个可啊我觉得 CUDA 当初提出的时候是很前瞻性的想法嗯是一个很冒险的想法对在这个啊当都不确定这个 Accelerated Computing 会不会是a base in 的时候我们公司就做出了这样呃勇敢的投资那啊我们做的大模型都得益于 CUDA 啊然后可以往下走我不会把这个Cosmos 或 NeMoTrance 跟 CUDA 做同等的连接因为我觉得现在的整个发展已经相对复杂很多有很多个不同的整个产业是很多个stack 的合在一起的嗯我觉得合在一起可能是新的 CUDA 而不会说这个模型单一就是一个 CUDA嗯对你还需要做 serving 啊你还是要去做这些 infrastructure 有很多东西要合在一起 那 CUDA 你们觉得是哪些要素共同促成了它的成功 CUDA 一开始的时候就是在寻找 Application嗯一开始的 Scientific Computing嗯然后后来在 Deep Learning 出来之后找到 CUDA 最重要的 Application啊往下走那 CUDA 还是一直在提供不同各式各样的 Application我觉得复制 CUDA 是一个很好的想法但我不觉得你按照原来的路线就会走一样的啊的路我觉得这个环境是不一样的嗯对我我觉得是要 Adaptive看清楚哪个时间可以做出哪些重要的贡献嗯 所以你们不会拿着这个锤子去找钉子对吧拿着我要做出下一个 CUDA 就是当年是一个非常成功的决定然后我来做今天的决定 就像老黄常讲的他的的确就是被让 First principle嗯他是觉得什么合理然后再往那个方向走啊而不是找着拿着锤子去找钉子嗯 因为你刚好加入英伟达十年了是呃这十年你变化大吗你在英伟达的这个股票涨了多少倍了一共 对那个呃这些一切都是没有预期到的啊嗯啊这段时间里面啊我们见证到一个没有人把AI 跟英伟达连接在一起变到一个全世界都把英伟达跟 AI 连接在一起到一个我父母亲不知道什么叫英伟达到全全世界都不知道什么叫英伟达的这个事件啊这是很巨大的变化嗯啊那中间的历程啊也不是那么容易公司你从股价来看就有起起伏伏我记得那一年啊就是TPU 刚出来的时候公司股价掉了很大一截对然后有些同学们在那时就对公司的啊的未来产生了啊就是不同的想法也就离职了但后来啊NVIDIA 每年在MLPerf 里面都击败 TPU 然后产生出更好的那个性价比那后来就是只有我们参赛了这些东西都都很难去预测这些变化实在是很大然后我觉得就是在这场期间我更加理解到什么叫就是慢慢经营慢慢去经营然后就是找到一个你相信的目标非非常 First principle 啊一步一步往下走你就看着老黄带着整个公司这么大一个团队然后就是一步一步走向今天这个啊这个呃成绩然后余有荣焉啊就是大概是这样 你当时加入的时候没有想到这一切对吧你当时还有其他的 offer 但没去对嗯对但不可预期的我我当初加入原因就是因为我想要有 GPU 可以为这个支持我的学术研究是很简单一个原因我某方面来讲我也是非常 First principle我觉得 GPU 是啊这个做科研重要的工具我要去一个 GPU 众多的地方那不如去一个生产 GPU 的地方嗯另外一个 offer 是谁啊当时对啊我有数个 offer 但其中有一个投资公司啊他跟我讲说不管我去哪里不管对方给我多少钱我都给你四倍然后希望你可以加入他们的啊这我们的公司可以一起去研究怎么去啊用Deep Learning 来做投资嗯啊我本身对这个东西并不是很感兴趣我还是想做科研然后去还是选择了 NVIDIA 当时 NVIDIA 是可能是更不知名的那个是吗是啊对嗯你觉得你看一六年的老黄和现在老黄变化大不大 头发都白了我觉得他承担的压力大了很多但他还是就是关心员工然后啊很仔细的去阅读公司的学员工写的 Top-5 Email 啊然后去找到一些讯号啊来帮助啊整个公司往前啊进步有很大的变化公司的规模很大的变化我们那时候加入的时候公司可能不到两万人吧然后现在已经两倍以上可能更多那那个呃就是那时候GPU 都还是桌机啊那现在都是 Data Center 对然后那时候没有 Physical AI现在 Physical AI 都成为了一个重点对变化是很大的 你在过程中有见证英伟达哪些 Pain and Suffering 没有 先生常常在嘴边讲他说啊当然不是真的他每次都讲说他每天都觉得公司只剩下三十天的现金流嗯三十天后就要破产然后现在还这么说他每天都这样讲每天都这样讲每次开会都都是这样提醒自己吓唬高管吗 只是要求自己做出对公司最正确的决定然后有一年 Pandemic 的时候那个整个整个就是经济状况不好然后那个时间点就是很多公司就开始裁员那我记得那次公司大会的时候我们就决定要裁什么我们要裁的就是啊Travel 啊就是员工就不用去 Travel 了全部都是Online 这样就省下一笔钱然后我们在研究哪些工具可以不要比如说在硅谷啊很多公司都用 Slack 啊来做这个通联我们来考虑是不是就不要 Slack 了反正我们有 Email然后我们有两个两三个 Cloud比如说我们有时候用用 Microsoft 有时候用 Google 是不是可以就取消一个可以省钱你可以看到公司就是在一些困难的时期做出一些相对不平凡的决定啊有些公司会把裁员来降低这个就是啊人事开销NVIDIA 想的是什么可以节省掉一些不必要的开销照顾员工一起度过困难的事情 为什么 NVIDIA 一直坚持不裁员它真的没有裁过员工吗我在英伟达的时间里面啊就是我没有听到任何裁员的消息嗯也没有末位淘汰对吧 我们没有所谓的末位淘汰啊然后就是我们只有给 Performance Review 那当然就是有些人会因为对 Performance 的不满而离开那有些人是就是啊这里有其他因素就就离开但我们不会因为我们改变了产品的方向然后或者是因为就是这段时间内你就是啊 Performance 不好而就让你走啊我们觉得人跟人之间的信任很重要啊当一个员工对这个公司啊有认同感有安全感他愿意讲出一些啊就是啊可能在一般担心被淘汰的地方不愿意讲的事情嗯当没有所谓的末位淘汰的时候大家也不会就是真的这么的啊就是这么担心被淘汰而强出头那在一个全部都强出头的地方反而不容易促成团结合作我觉得这样的一个啊管理模式啊会促成一种公司文化啊是跟啊那些会做末位淘汰的公司文化是蛮不一样的嗯它的优点和缺点是什么呢 我觉得就是公司员工讲敢讲真话愿意团结合作缺点就是啊当一项科技就是逐渐变得啊成熟的时候啊这些员工需要一点时间学习新的东西做转型嗯那重新学习新的东西是需要多点时间的那如果你直接 Lay off 再 Hire 新的一批人那你可能可以直接 Hire 到一些已经会这些东西的人所以这些啊经由转型啊做起来是会比较慢一点但是你得到就是员工的信任然后一群可以团结合作的员工 嗯组织效率怎么提升呢这对你们来说是个问题吗 就是大家只要充满热情然后觉得自己做的东西啊是很有意义的然后整个整个效率就会提升嗯每个人都有选择嗯对那呃都会想做自己啊有成就的事情那如果公司可以提供这个环境让大家可以去发挥的话那那这样效率就会提升就让每个人可以做出他们最喜欢最擅长的事情但同时这些事情对公司又是有极大的利益的只要能做到这点我觉得就是一个很好的状态嗯听上去不裁员有很多好处但是大部分公司都不是这么做的对吧是这是为什么然后以及老黄黄为什么从一开始就觉得不应该裁员我觉得 NVIDIA 是一个想啊长久经营经营下去的公司然后我觉得就是这么多年他在老黄在这个硅谷待了这么多年也看到这么多风风雨雨嗯他选择这个东西一定有他的道理也就是啊我觉得不是一个随机的选择是一个深思熟虑后觉得这东西是啊是是他想要的企业文化他想要啊的公司的运作模式嗯 那是不是意味着当新技术来的时候英伟达不会是最快的那个但是它是依赖于你早十年或者早五年的提前布局这样它对快就要求不高 NVIDIA 就是跑马拉松嘛然后看得远啊在你看 CUDA 就是这样一个案例布局了十年嗯对吧啊所以就是你要有很强的眼光然后长期投资对嗯嗯你们也不赛马对吗 我们不喜欢赛马因为我们通常都是这样做啊就是你去 take 这个 mission 我们就相信你让我们一一起给你很高的啊的 bar希望你完成就是啊用老黄话讲就是一直让你那个接受 Pain and SufferingTorture you to greatness 相信你然后给你考验然后不断的磨练你啊让你一路一步一步往下成长啊这是我们喜欢的模式 你在英伟达受过最惨烈的 suffering 是哪个阶段啊 做这些大模型其实这几年都是这么呃辛苦的在往下走我刚刚跟你讲那些东西很多都是啊从错误中学习嗯啊呃很多东西啊就是一开始也没有理理解到这些东西最重要的东西那为了把东西做好然后当前做不对的时候那怎么慢慢把东西给改进我觉得这一段就是自从呃 GPT 起来之后整个这个 AI 的从业人员大家都感受到莫名的压力对然后这段时间里面啊就是这个迭代的速度啊然后大家都饱受着压力的那我觉得都是 Pain and Suffering啊尤其是当你每天啊挥洒这些 GPU 资源挥洒这些年轻人的时间然后做出成果没有达到你最喜欢的啊结果我觉我觉得这东西就是无形上都是一个啊压力压力对嗯 你的生活状态发生变化了吗在这过去几年高效高效啊对练早起晚几啊我大概是四点到五点起来这么早对哦早上起来的时候啊在运动啊那些就是时间比较连续一到公司我就一直开会嘛然后所以十点到公司大概大概是九点到十点左右嗯对因为整个整个产业的迭代速度所以生活步调都变快啊还是要学东西还是很多但处理的事情又变更多然后让自己更加高效嗯然后你几点睡啊 我大概大概十点左右吧十点左右睡十点到十一点左右四点五点起对啊不是每天都固定但但是基本上是我的常态对啊英伟达的嗯书也好或者老黄的传记也好都讲了很多他的管理方式是的能不能从更一线的视角来讲一讲就是呃英伟达的一些不一样的管理方式我们刚刚可能涉及到一个是不裁员 呃第二个就是 Top-5 就员工就是要跟很多人啊就是讲这个他做的事情最重要的五件事情这件事情让你看清楚就是各种公司的大小讯号可以看到很多两个团队在做一模一样的东西啊那个 Top-5 Email 就会自然显现出来NVIDIA 是一个相对很透明的一个组织架构苹果可能是返利就是啊就是我们就是追求资讯透明然后让那个啊这这也是一个很不一样的考量那呃那那那些老黄传记有些是比较戏剧性的啊但很多都是你可以在英伟达工作的时候就可以感受到他认识很多员工我们常常讲 mission is the boss 嗯啊然后也就因为 ## 转写 03:00:00–03:20:00 有时候像是一个有机体没有那么强的框架当我们公司今天要走向这个方向的时候在各种不同组织的团队但有相对的技能就会自动 align就往那方向前进就是像一个活的组织不是一个固定框架就说你在这个里面你就不能做这东西 嗯没有关系你在这公司哪里都没关系但是你要往这个方向前进的时候你的你的这个团队的啊的是可以产生贡献的就全部人就 align 就变成一个新的方向往这边走Cosmos 就这样子一个案例 嗯就是很多人他可能不属于这个团队但是他都可以来支持这个团队的工作 对 Mission is the boss 嗯 而不是你的 boss 是你的 boss Mission is the boss Yeah这几个是最具有特色的啊就是这几个让整个公司的就是很很活啊你看我刚刚讲了这个 mission the boss 就不是一个很硬的框架是个有机体那这个 Top-5 让公司各个地方的微小讯号都可以传到扩散出去 嗯 对吧那啊不愿意让就是不轻易 lay off 员工啊就是讲究转型讲究土丘让员工对这个公司加强信任然后可以彼此互相合作我觉得这几个都是啊英伟达很独特的地方 嗯一群 S 级的人一起工作和一群 A plus 或者 A A 级的人一起工作哪个可能取得的成功更大呀你觉得 大家在追求就是一加一大于二 嗯 对然后是不是大家可以团结合作产生更大的效应啊是啊是很重要一件事情然后当人人多的时候就有一个沟通的成本啊然后沟通成本就是负面的你等于就是要人跟人合作可以产生正相关但是要降低这个沟通的成本那一群很聪明的人一起合作啊当然大家都很聪明很快就理解然后手脚又快啊但是如果人跟人之间无法互信的话也很难达到一加一大于二大家都防备着对方不愿意把最好的一面啊展现出来或者是就是要展现出噢我就是比你聪明那这样子也不见得是一个好的状态那我觉得反而就是啊就像打游戏一样你不要整个团队全部都是弓箭手可能有些人是负责防御有些人是会啊是是做补血的啊各项不同的啊属性合在一起啊我觉得这样多元是一个比较好的状态 嗯你看你今天说了很多你没有竞争对手然后你不和任何人竞争都是你客户然后大家都是合合作伙伴这种 low ego 的状态是在英伟达发生的变化吗 呃是就是是真的 low ego 还是这是一种隐藏我觉得是一种 confidence 是一种自信 嗯 啊是觉得啊我们做出来的东西是可以帮助到大家那我的目标是帮助大家做好但我对我自己做东西我要求很高我希望它变好但我的目标并不是击败对手我的目标是那个做出好成绩提出更好的 foundation 让大家可以动得更快 嗯 啊这这是跟老皇学的吗 呃对我受他影响非常深 嗯这是什么时候学的 如果你是一个研究员你就是毕业的方法就是让你的论文在顶级的会议上被接受然后 reviewer 都会 question 你的东西是不是 still there at那你要 still there at 代表说你要击败所有的人所以研究员都有这种心态就是我的东西要比你强然后所以循着这个轨迹我也就是一开始就是一个 highly competitive individual 就是我东西要做的比你好 嗯那这个这这是我要求当然好就希望东西越来越越来越好了但久之后就是你知道就是你总是 still we are一段时间就下一个啊出去了对就是这东西是一直不断进步今天站的位置也不一样了就是啊成为这个管理者之后啊希望就是培养新一代的人才帮他们成长然后站在这个 NVIDIA 这个 ecosystem 的角色又希望这个公司逐渐感受到这个好处有时候看到我这些伙伴们跟我讲说用了你的模型之后我这这个效率提升了很多然后我就很开心我觉得啊我的我的付出啊整个团队的辛苦付出啊获得的一些回想那不是这种肯定也是很好的一件事情啊不见得是要击败啊其他才是一定能产生贡献的 对就你不需要击败你的对手 我不喜欢把他们当成是对手喜欢把他当成是伙伴 嗯你看英伟达包括你然后包括 Jason 他出来经常会说 take care of others 就不管是员工还是外外部的合作伙伴这种 take care 是一种真实的吗他真是这这么想的吗 英伟达一开始的时候我们就是啊我们就是生产这个啊就是这 design house然后最后我们也没有什么 consumer product 都是靠着其他家公司帮我们做 GPU 卡我们就是一直有这个习惯就是要跟着整个 ecosystem 一起成长大家一起赚钱总不能说钱只有我们赚嘛这些帮忙做这个显卡服务器这些啊都都要一起能那个往下走那因为它早期的这个显卡都是拿来做游戏我们也不做个游戏对我们就是就是一直开发这些好的 library 帮助这游戏公司做游戏我们刚开始走向 deep learning 的时候那时候好几个框架比如说 PyTorch 啊 TensorFlow 啊还有一些 MMCV 那些东西我们全部都支持对然后后来我本来有个 Triton Compiler 我们是支持那个 Trition那 vLLM 出来之后我们也支持 vLLM 对就是我觉得是真心的就是啊就是想帮助这些建在我们这 GPU 平台上面的客户能更加成功他们更加成功代表他们可以服务更多的客户那他们就有大量的机会会使用我们的 GPU 是一种真的是共利一起走向成功的一条路线那我觉得这相当也是他经营了这么多年才把这个公司放在这么一个好的位置让帮助别人也可以获得获利啊这我觉得这些不容易 嗯你近距离观察过呃老黄很多年如果只用几个词来形容他你会怎么形容他 我们叫他六边形战士嗯就是不管是你我们有时候开会他可以走到很深去研究这个 register这个 computer architecture 的 register这个非常细的细节同时间又可以讲到讲到可以又可以教大家怎么做 marketing 怎么做这些非常 high level 的东西然后在处理这个啊不管是产品定价然后跟客户的关系他面面俱到然后是他是极大的热情 He gives everything he has to help the company be successful这是一件很很令人佩服的一个呃的操作在各个方面都可以产生贡献然后各方面都尽力做到最好啊他是一个很厉害的一个人 他对你鼓励比较多还是呃批评比较多一般来说 鼓励批评都有当我还没有完全理解他怎么要怎么去跑这个公司的时候批评是比较多的好但批评中中只带着总是带着鼓励希望你可以变好他的目标就是 coach you everybody to greatness 啊经由这些磨练让你更加理解就是怎么样做才能做出不平凡的事情这很耗精力的你愿意花时间去偷求别人这是件不容易的事情就偷求别人你自己心里要产生很大的负担对吧 嗯 而且你人生就这么多时间你可以不管你可以也许还能还是能达到你要的东西但是他愿意花时间去偷学别人让大家不断的进步这是件不容易的一件事情 他对你让你印象很深的一句话是什么呢 我记得有一次啊我们在一个会上啊我们在比较两个 solutions 两个东西然后我是做其中一个东西的人啊另外一个是啊其他人做的东西啊我记得那时候我讲了一句话说我觉得他们用的 setting是一个不 fair 的 setting所以导致这个那个啊所以我们在这方面表现就没有达到我们的预期呃落后这个呃竞品 嗯那呃他那时候给我句话说 Are you a crybaby这世上没有什么是公平的你在写论文的时候常常讲说哎我的 setting 就是跟你的 setting 不一样所以不能同时比较 嗯 但你的目标如果是要解决一个问题那你当然是是做这个要解决这问题所需要的条件没有这条件你就想办法拿到那时候我呃那那句话让我印象很深刻就是我更加严格要求自己就是找理由是没有用的就是这个啊就应该 give everything you have然后我以前也听过这句话西点军校有一些著名的的那个书也是讲的就是没有理由 No excuse 对吧但但他跟我讲让我的印象就更加深刻因为毕竟他是一个著名的人物那啊我觉得这句话对我的影响也蛮大 嗯 我后来就不再找理由了对 如果当你作为一个研究员想成为 Number one 和英伟达的本身的业务因为他不想成为强劲的竞争对手嘛如果发生冲突的话你会选择哪个 我觉得那个就是科学的发展本身就是 incremental 的就是一直在进步一直在进步一直在进步你随时随地都可以提出 improvement 就是要往上再再走一步 嗯 然后我觉得就是Be the absolute number one 啊什么叫那我这很难去定义什么叫 number one然后我我比较喜欢看 是一个 Frontier 的模型吧 好嗯 对但 Frontier 的模型啊做出来那时间是 number one 很有成就感但之后就会有其他的模型可以追上去我我是希望就是你具备的啊就是做 number one 模型的能力啊但是啊就是啊做出就是对这个社会影响最大最最有贡献的事情 嗯 对因为你可以做出 number one 的模型但你就是只给少部分人用然后或者是嗯就等于让权力过度集中在少部分的手里然后产生一些不平衡的状态我觉得不见得是一件对的事情嗯对那我我是希望就是啊具备 number one 的能力但是做出对这世界贡献最大的事情 具备 number one 的能力但是做出对这个世界贡献最大的事情 是的 所以最重要的是后面后面那个贡献对吗不是那个能力啊 对对人人们就走一遭嘛对吧然后你留下来就是影响这要活得久 呃我的九机会大一些嘛呃就是希望能产生一些啊做些啊贡献然后啊就证明自己啊就是没有白来走一遭嗯他就这样子 嗯你还有什么在研究生涯上觉得遗憾的吗你还有什么特别想得到的 嗯我觉得 physic 还没有成功嘛对还还没有还没有到那个时间点是啊就是就是谈论这些我觉得嗯我很开心那时候十年前我在我在讲这个啊 DeepLearning 会取代 computer graphics 成为一个最重要的这种这种影像生成的模式这件事情发生了我我觉得还蛮开心的这事情真的发生了那我觉得这种世界模型会是推动 physical AI 成功的重要推手然后这是我下一个啊重大目标我希望这个东西也能成功你要比就是你有一个 best paper award 你就会想说我要拿两个然后我知道有些人拿了十几个你总是拿不完嘛对不对比论文数总是有更多的论文那你比 citation 数总是有更多的 citation你比钱总是有人更你有钱对不对那重点是我觉得你对自己的啊东西啊是不是啊很骄傲啊我觉得过去很多东西我觉得我做不够好但目前有些东西我觉得我做的不错啊我接受然后我觉得就是啊在我的能力范围内我觉得我做出了我自己满意的东西觉得这个 嗯 其实外部的很多衡量指标现在慢慢都变得没有那么重要了对吧 对年轻的时候都觉得它们很重要 嗯 为什么他这个人的 best paper 比我多哈哈哈对然后奖比我多啊现在觉觉得就是渐渐地这个不在意啊就是我我重心渐渐转移帮助别人也许我现在 care 得到帮助人够不够多 嗯你觉得最近一年帮助了谁 啊这些使用 physical AI 的使用 Cosmos 的 user 我觉得我都那默默之中替他们提出了帮助然后当然还有自己的团队还有一些就是啊就是跟我交旱过的人我觉或多或少我对他们生命都产生了一些影响 嗯嗯 你也经常来中国嘛是你怎么看中国的这一批模型的发展呀 非常的 impressive very impressive这这些啊从 DeepSeek 开始啊千问啊豆包啊这我都把它全部讲一次啊 Minimax 就有然后 Kimi 啊啊然后这些MimoMimo 对然后委员委员就是这么 智谱 智谱对都做得很好那还有一件事情就是啊在美国啊尤其是在 Frontier lab现在的状态就是他们很少去招收实习生很多那个 No how 啊很多这些研科研的结果都只有在他们自己本身内部的实验室有那在中国这边我看到就是啊他们像嗯这些公司都招收很多实习生对然后帮助把这些就是 know how 传递出去那我觉得对人类整个就是知识扩增啊就是就是 diffusion 这对我觉得是一件好事看到这些快速发展我觉得我觉得很 impressive 然后还还同时注重到这些啊 diffusion大家对 AI 都充满着热情就是愿意去尝试我觉得这都是看到的一些现象 嗯现在您跟我说硅谷已经被 LLM 催眠了你怎么看他这句话 我不觉得是纯粹被 LLM 催眠不能否认的就是现在在 AI 里面最顶尖的公司啊就是模型上最顶尖的公司不管是 OpenAIAnthropic 都是从大语言模型出发的嘛 嗯 那这些模型也确切我现在已经不知道没有 coding agent 我要怎么过下去 嗯 我也不知道就是这些实在太方便了我就感觉很巨大的变化我觉得也不是一件坏事嘛就是啊 L M 真的产生了很大的用处然后帮助提升我们的生活我觉得很自然而然的就是大家会会想就是这东西既然都都已经在这里了然后下一步是什么我觉得人自然会想要做哪件事情我知道领域里面有些人是把啊学术变成信仰但我觉得大部分人都还是啊求从求知求真的角度出发当一个东西啊的啊被充分理解之后大家会找到新的东西来进行做突破你很难很难想象一个人就这么聪明的人一辈子就只做 LLM 嘛对吧我觉得自然而然会发生不并并不觉得有这种催眠的事情只是对那些人而言对现在时间而言也许做 LLM 是一件很正确的事情 昨天 Spacex 上市然后马上 OpenAI 和 Anthropic 也要上市今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗二零二六年会是巨变的一年吗 这上这边上市大家都看到新闻了嘛就是会产生很多富翁对吧然后我知道旧金山的房价在快速飙涨早期相信 Deep Learning 啊早期相信这个这个 Space mission 这些人啊就是啊这些等于是对他们的远见对他们的勇气对他们的决心啊这一个认同我觉得都很合理嗯对这些公司真的对公对世界产生巨大的贡献我觉得完全值得但这个我觉得科技不会停在这里 嗯 然后陆陆续续都会有新的事情发生一百年前强盛的公司跟现在强盛的公司是完全不一样五十年前不一样二十年前不一样对我觉得啊这个社会啊只要组织架构还是一个有好的良性的状态就会不断有创新发生 嗯 你就模型这场竞赛的终局可能是什么样短短几年已经发生这么大的变化再往远看呢 呃我讲这就很 controversial我觉得模型的能力慢慢就会统一对靠模型自己不会是呃区分一定要靠一些其他的东西组织在一起那领先的模型有更充裕的时间去找到这个区分啊的方式然后强大的这个公司也可以加大自己强大的 ecosystem 去做出一些嗯变化对然后我我也觉得像 software 刚出来的时候会写 software 的公司很少现在大家都会写 software然后每家 software 都有一个自己的区分方式那些能活下来的 software 公司都有自己的区分方式嘛然后我觉得没有理由模型会是嗯不一样我觉得会是一样 所以没有必要神话模型或者模型公司是吗 我把它当成综艺了就是一个 black box 有这么多人不同尝试最后就是一个一套学问嘛然后很多人都会综艺嘛对吧 关键是你要拿它干什么 对关键是要看干什么那有些人解读比较深一点啊然后有些人就是需要多点时间这都是我的预测啊我我是我是觉得这些东西慢慢就会 diffuse 现在假设一个新公司说我要训练一个模型它还有很大概率赶上来吗就他可能比前面的公司落后两三年的时间像啊 Kimi嗯或是 Mimo 这些 effort 都是算比较晚期出来的吧Kimi 还行Mimo 比较晚对嗯对还是有机会 ## 转写 03:20:00–03:36:13 我是觉得就是啊过一段时间大家会觉得算力不够然后我觉得算力慢慢就会起来，都都有办法去参加竞争，我觉得这世世界上有抱负、有决心有办法去呃去挪动资源去建一个大模型团队的人很多啊然后才会有更多是吗我觉得如果说大模型是一个绝对的区分那当然就会更多但如果不是绝对区分，应该会很多人就是想到呃对他们的比是你更有利的方式对我就是一种自然的平衡状态自然的平衡状态嗯端侧模型你觉得会多久之后爆发吗这东西跟那个Physical AI会很相近嘛刚也讲了嘛就是我觉得资金渐渐投入然后科技迭代很快也也许这段时间我说不准但我觉得希望它快速爆发嗯对于今年和明年的模型竞赛你有哪些预测在Physical AI上是很难的啊那创作还是很快那我还是坚信这个World Model能力啊是帮助这些啊物理世界模型强化泛化的一个重要关键对那啊怎么落地啊用什么样的Moderity这件事情大家都还在探索当中Chat GPT moment for Physical AI is coming这是我可能可以做的预测对那大语言Coding模型这些东西我自己本身在在follow但我自己不做啊我也很难去讲我是用得很开心但是啊我也很难讲接下来会怎么样刚才你说了就是中国的这些模型公司那中国的机器人公司呢你应该也见到很多你觉得跟美国有什么不一样吗两边美国在做本体的公司很少就Tesla跟Figure AI啊就中国好多家公司在做这个本体做本体它可以控制东西更多了啊可以控制啊这个这个模型跟软一体的整合的空操作空间更大啊然后我觉得因为中国强大的制造业啊让产生一个很优势的条件可以让这些公司做一些在啊美国不容易做到的事情我觉得这些都是啊啊很值得去关注这样的垂直整合会产生什么样的一个突破对我觉得还蛮蛮蛮有趣的你觉得美国现在会不会有一点嗯就是不不那么重视硬件可能是错的也很难说但是就是在这个如果说这种呃软硬件整合是一个机器人的一个趋势那那没有硬件当然是处于啊被动状态是吧有点难讲嗯好多东西要考虑啊包含这个啊金融模式啊中国明显就是有这个条件可以可以让大家做快速的硬件迭代那个软硬件整合嗯ChatGPT Moment在Physical AI你觉得有可能在哪里爆发啊看到一个应用啊是大家很明显知道就是啊是会产生巨大的经济价值嗯啊然后也许在那个时间点那个应用并没有产生经济价值当ChatGPT刚出来的时候是赔钱的对吧但是就大家看到这个趋势然后觉得就会发生那我个人觉得这种啊就是简单的人示范一下怎么样的操作这个机械就可以就地学会这个东西我觉得这是一个如果这东西出现我看到这样的一个这样的一个产品我就觉得说呀那是个ChatGPT moment for Physical AI所以它的核心是泛化我觉得是泛化嗯就是AI的核心问题就是解泛化的问题嗯对于泛化来说现在最重要的一个问题是什么呀如果只说一个泛化的问题在Physical AI里面就是怎样从这个有限的讯号里面学到需要的操作嗯然后应用在一个没有看过的一个啊这场景里面嗯这个是啊Physical AI里面要解的一个主要的泛化问题Observation对Action这个这个Pair的泛化嗯让你看到一些你看到这个Action跟Observation是完成事情的怎么样快速泛化到一个啊新的Observation那类似的Action嗯对诶我在想就是如果它在Cosmo这套系统里学习了当它走向现实世界之后它还是会有Sim to Real gap对不对怎么解决这个问题呢啊这也是一个泛化的问题啊对就是啊Sim to Real gap通常是嗯这我我们Cosmo想帮助啊这个啊Physical AI Builder是通过三个方式嘛之前有讲的就是Better data嗯Better starting point跟这个Better environment那我觉得Better environment这些东西是还没发生是大家都希望能做出这个矩阵啊但还没发生就有陆陆续续有些突破我们看到一些work都很不错那现在比较管用的可能就是Better data跟Better starting points你拿一个懂这个比较懂这世界物理怎么去去预测物理啊就是懂物理可以去也不能说真的懂物理但抓到那个模式可以去Predict接下来发生什么事情这东西也许可以帮你产生更好的帕做出更好的Parsing那这东西因为它本身的Prior是比较适合泛化那它也许就可以帮你啊建出一个更更容易泛化的一个Parsing model嗯对我觉得这个是我看到可能短期内Cosmos Model可以对这个Physical AI Builder的一个贡献嗯如果五年后我再来采访你你希望Cosmos发展到什么阶段哦我希望五年后如果我们再有这个啊这样的一个采访我们可以清楚讲出来ChatGPT Moment是什么时候发生的啊对然后是在哪里发生我希望可以可以这个事情是可以明确的讲出来几年几月几日那时就有一个具体的时间了对对对hopefully嗯在人工智能的历史上你希望别人怎么来记录你啊就不要讲我吧我觉得就是啊讲Cosmo是吧好希望Cosmo可能是一个重要的推手然后帮助啊这些几个重要的Physical AI Builder啊达到这个Chat GPT的Moment我觉得这个可能是我会很开心的一件事情嗯我还有一些快问快答嗯全球范围内一个你最喜欢的食物牛肉面全球范围内一个你最喜欢的地点啊我喜欢湾区天气实在太舒服了你有什么喜欢的音乐书电影或者游戏吗书蛮多的嗯然后呃音乐我不怎么听然后游戏我已经不怎么打我上次打游戏可能都是二十几年前的事情了你能分享一本真正改变你或者影响过你的书Jordan推荐的书它是是讲Positioning的一件事情嗯啊然后我忘记那个书名叫什么很有趣的一个心理学的书然后让让你更加理解问题的本质是什么嗯像年轻的时候读了很多不同的书对我特别喜欢金庸小说那那它那是其中一环金庸小说有帮助到你后面的科研或者是学管理吗啊倒是没有啊就是啊里面的这些啊可以体会这个金庸的各式各样的幻想然后很美的一些意境啊那当然是啊哇把我推向了学中国武术的道路然后啊从中国武术里面得到一些历练啊我觉得那都是蛮不错的一些过程嗯对于年轻的研究员你会有什么建议就是不要紧张为什么不要紧张因为现在年轻研究员都往往觉得就是啊会不会明年这个AI就就结束了就AI自训练了嗯不要紧张对自己有信心然后冷静下来那个看清楚什么地方是值得你投入精力嗯不要不要被这些啊大家的这个宣传而觉得好像自己路越走越窄现在研究员进入Physical AI是一个好时机好时机是一个蓝海嘛这是一个好时机嘛就是各种机会然后还有很多地方我我当然做Physical AI我比较懂但这些啊AI的进步让我们可以做出更好的这些Material啊更更好的药啊这些生物方面的突破我觉得在各行各业里面都可以渐渐看到这个这个AI的影响我觉得很多地方都可以去投入嗯我们工作室叫语言即世界工作室当你第一次听到这个名字的时候你在想什么用语言来啊描述这世界上发生有趣的事嗯你觉得是大模型竞争不是鱿魚游戏还是世界模型竞争不是鱿魚游戏啊还是说对于你来说不是鱿魚游戏对别人可能是我不清楚你你你如果你如果大家想解的东西是一模一样嗯那就是鱿鱼游戏嗯对吧哎所以模型竞争不应该是鱿鱼游戏对因为这世界上要被解的问题这么多啊对啊然后可以提供价值的东西这么多嗯每个人喜欢东西又不太一样对啊我觉得不应该是啊看成是鱿鱼游戏你有过那个特别high ego的时候吗年轻的时候社会的是吧对就是我总觉得我的呃算法最好然后对我写Paper最漂亮总是会这么觉得算法重要你需要很好的数据很好的Infrastructure那你可以做快速的算法迭代啊因为你其实你有两种可能嘛一种是你一开始的算法很好OK那很好但是即使你一开始算法不好你有很好的data有很好的Infrastructure你可以迭代然后迭代只要你遵循着这个就是很严格啊纪律然后这种控制实验法则你算吧就越变越好所以我反而觉得迭代速度是最重要的那迭代速度就是要靠强大的那种Infrastructure来支持Data很重要因为呃如果一个问题可以用Data解你就用Data解就好不用开发算法嗯因为Data简单多了嗯对然后所以不喜欢浪费力气这个问题只要是Data能解就就收集Data就造Data嗯啊然后真正不能解的再用算法来解是每个公司都需要训一个自己的大模型吗你觉得没有必要是吗如果是Commodity你你需要建自己的电厂吗你每家公司要建自己的电厂吗OK就是看合不合合乎经济效用效应对吧啊嗯在早期你要做汽车工厂的时候那电厂不充裕的时候你盖个电厂你可能可以确保你公司是二十四小时运行的在现在这时代你可能不需要了对吧嗯对你可能跟太多这个AI的那个呃就是开发者聊他们每个人都是觉得我的AI模型是最好我觉得这东西在历史上从来没发生过然后我不觉得这个人人跟人相处没那么容易的你看当初Ama那个Dario Amodei跟跟那个Sam Altman就是合不来啊对吧啊啊他就走了啊对然后你最近在在那个Anthropic里面每个人都是一模一样啊我不觉得都是就是坚信的就是莫为哪天就是你生了A不生了B然后B就觉得说嗯对吧然后然后他会不会带一群人走去做个类似的东西啊对然后哎呀但数据大家都有啊数据有算力找你们买算力是你只要有钱还是买得到嗯对吧嗯嗯所以大家都能做你有决心然后你你你有资源你是可以做的嗯就没有那个必要而已Cosmos对于你们来说是一场不能输的战争吗这如果说有其他公司也做开源模型的话那就不是那就不是对什么叫战争呢就是我没有打算把别人杀死就我必须要all in这个赛道我不是就是你们都得长在我的生态上面Nvidia继续成长Physical AI是一个重大的一个市场现在家家户户都没有机器人但如果有机器人的话我家可能会买两三个那每个机器人都需要算力那等于整个世界对需要对算力的需求会大幅的增长这个事情如果发生的话对于Nvidia是巨大好处我们的心态不是说想把别人给杀死我们的心心态是我们要怎么去造市场你懂我意思吗库达就是造市场嗯造出了现在的AI的市场我们想怎么造出下一个大的市场那你说啊是不能输的战场吗我我觉得也不是也不是因为是全新的东西对啊我没有跟任何人竞争是吧呀就是共利嘛带着大家一起把那个市场建出来然后你卖这个机器人赚钱你做这个Customization赚钱那这个东西会需要一些赚钱那当然会有公司研发自己的芯片它也会赚钱那整个市场就起来原本是Nothing老黄会分享类似观点吗对经常说经常说造市场嗯而不是在存量竞争对你读他的书就会发现他讲说我们这叫做这种Zero billion dollar business什么叫Zero billion dollar business就是现在不是个Business但以后成功后会变Billion嗯如果现在已经有人在做可能就不值得做这是一种拥抱风险还是一种抵抗风险它是一个De-risk嘛这是一个De-risk嘛我们做事方法是很Risky的全部就是库达那时候是很Risky的一件事情等于是赔本在卖嗯对吧我们因为装了库达我们整个GPU的价格都比别人高同样的Flops我们就是比别人高因为我们要支援这个Programmability嗯对吧你不这么做你做这件事情很Risky你不做这件事情更加Risky对你不做那件事情别人做了的话对于你们来说就对非常有风险呃不不做这件事情的话就是你的东西就渐渐变成Commodity嗯你还要从老黄身上学到什么没有我都尽量很用心在学习他怎么去呃跑其他东西然后从里面去应用在跑Cosmo为什么其他公司都说CEO不应该是最努力的人但是你们公司CEO是最努力的人对是哦这我也不懂但它it works It cannot对吧啊世界没有绝对它现在驱动力是什么呀驱动就是Technical Families啊对做AI本身是很有趣的一件事情你尤其是站在他角度里面看到他的贡献改变世界我觉得是很有成就感的一件事情不愧是教主哈哈哈是的嗯