返回目录

008. 蒋炎岩:绿导师眼中的 AI 极乐末世

一场从大学老师还该教什么出发,最终抵达人类为何行动的访谈;以下按技术、制度与人的位置重新组织。

这一期在说什么

AI 让产出变便宜之后,人类的重要能力将从亲手做出答案转向选择问题、判断答案并建立验证闭环。

AI 让产出变便宜之后,人类的重要能力将从亲手做出答案转向选择问题、判断答案并建立验证闭环。

一句话

AI 让产出变便宜之后,人类的重要能力将从亲手做出答案转向选择问题、判断答案并建立验证闭环。

AI × 教育 · 科研制度 · Test-time Scaling · Auto Research

绿导师要退休了吗?

00:03:35–00:04:08

Insight

绿导师要退休了吗?

  1. 绿导师要退休了吗?

然后我们产出的论文,也许在 AI 的眼里都是没有意义的垃圾。这是你退出软工圈的理由吗?有经验的老师会劝年轻老师,你千万不要好好上课,你好好上课你就进入陷阱了。请你多出去走一走,然后一定要多多结交朋友,你这些事情做得多了,你自然做科研的时间就少了。因为这样的事情,花掉了我很多很多的时间,然后终于我觉得应该鼓起勇气有一天说说,也许不要做这样事情了,反正死和活对我来说都不重要。我相信有一天我应该是活在那个极乐世界里面,泡在这个 AI 做的缸子里面的。所以也许应该去做更 exciting 的事情。你会担心自己被学校开除吗?开了就开了呗。开了去做什么?不知道,也许天天钓钓鱼也挺好。这年头能到南大复试线的少说有一半是心无旁骛地备战四零八的四门科目,一年乃至两年的编程实践是啥?只会影响我刷考研习题集的速度。您认为这就是你提到的针对现有的考研评价体系的 reward hacking 吗?You are absolutely right.捆了他的手和脚,让他来展示一下他的才能,那对操作系统竞赛来说我觉得不 make sense。

然后我不知道为什么老登们总是觉得,可能他们没有用过大模型吧。对,所以最终大家还是投票,然后决定禁止使用大模型。江湖传言,南京大学蒋炎岩老师要在人生巅峰金盆洗手。蒋老师江湖诨号“绿导师”,是南大操作系统课的掌门人,软工圈的奇人,知乎、小红书和 B 站常驻的锐评宗师。讲课有名,出题有名,骂人更有名。之前一篇给天命人的劝退信,劝得无数准备读博的天命人站在山门前开始怀疑人生。这一次绿导师做客 AI 实话实说,不是讲课,不是讲论文,而是预言一整个 AI 时代的江湖浩劫。在他眼里 AI 带来的不只是程序员失业或者科研被替代,而是整个人类智力活动被推上审判台。翻译、编程、科研、大学和导师制度,或许都将被重新改写。但是绿导师谈末日的态度不是悲凉,而是看破红尘的快意。那也许不是末日,而是一种恩赐的解脱,博士生不必再痛苦挣扎,老师也不必再被论文经费和职称反复消耗。他究竟是金盆洗手退出软工江湖的风清扬,还是不忘初心对抗科研体制的真大圣?这期 AI 实话实说,绿导师开坛讲法。听众朋友们大家好,欢迎收听 AI 实话实说,我是主持人黄开心。我是主持人 Summer。

我是主持人 Miko。我是主持人静波。本期 AI 实话实说 ,我们非常高兴地请到了南京大学的蒋炎岩老师。蒋老师你好!Hello。蒋老师啊,你感觉退休生活怎么样?我还没有退休,我只是想退休。我看你在小红书上面三月二十一号发了一篇文章,叫做《我决定在人生巅峰退休了》,这篇文章是什么意思?我看到了一种有点像末日的景象,大概我们现在做的所有的事情都会成为徒劳。那在这个徒劳之下,可能我们要停下来去思考未来应该做什么,大概是这样的一个意思。你可以具体谈谈吗?是什么样子的末日的景象,你觉得什么事情现在正在做的变成徒劳了?我觉得我们大学老师从学生进校开始就要培养他们,然后从一步一步本科生到研究生,然后到博士,这个过程可能都会变成徒劳。然后我们产出的论文,也许在 AI 的眼里都是没有意义的垃圾。那么在这样的一个世界上,我们还怎么样看待人类积累了这几百年的研究的东西,可能是我们需要停下来仔细想一想的。你在文章里面提到,翻译已经死了,翻译作为一个职业,作为一个专业已经死了。

同时你也提到现在你认为绝大部分的工作,不管是编程也好,不管是科研也好,不管是创新也好,其实都可以看作翻译。为什么你这么想?我有个感觉,其实人类就是一个复读机。为什么这么说呢?我们大部分时候在产出一个科研成果的时候,我们是根据一些原始的动机和想法,然后做一个类似于大源模型 Chain of Thought 的推理。然后从这个推理当中,有时候我们会调用工具去写一个代码,做一个实验。但是所有的这样的看起来曾经是非常高级的智力活动,对于今天的大语言模型来说已经不是那么的困难了。所以从一个高级的想法到最终执行实施,得到一个研究的结论,这个过程在某种程度上很快就会被机器所取代。那么在这个时候,我作为一个大学老师,我首先想的问题就是,那我们存在的意义还是什么?当您说到末日景象的时候,感觉您嘴角带着一丝笑意,就是为什么,为什么会有这种这种心态呢?就是您看到了什么,而这个事情为什么让您感觉到窃喜?我觉得这是一种恩赐的解脱。你想我们有这么多的博士生在痛苦的挣扎,无论是他喜欢他的 research topic 还是不喜欢,那整个读博的过程都是非常痛苦的。

Insight

AI 末劫将至,大学教育、科研论文和导师制度是否都成徒劳?

  1. AI 末劫将至,大学教育、科研论文和导师制度是否都成徒劳?

那等到那个末日景象来临的时候,我们也不需要大学了,甚至不知道人类还在不在了。那所有的人类都某种程度上获得了一种真正的解脱。而可能机器会替代我们去发现那些新的知识,拓展人类的边界,也可以去到我们无法生存的星球。那也许是一个更好的景象,而不是一个末日的景象。那您在这个过程当中,是否假定了这个机器也可以,AI 也可以自己定义整个事情的目的?就是目前我们看到啊,AI 可以做推理对吧,AI 可以执行任务,但是在目标设定过程还是由人类主导的。就是对于这个您觉得以后是人类来设定目的,机器 follow through ,还是说您觉得这个可能也会被 AI 所取代?首先我看到的一个景象是,我们人类应该理论上说可以存在一个比较复杂的目标。然后这个目标一旦设定,并且我可以强制写一个程序让机器来执行它,那么它就可能有无限的智能或者无限的一个接近无限的潜力。至于在这个过程中,机器会不会自己产生意识,可能我没有办法下这个定论。但是我可以看到的是,Scaling Law,或者说我觉得现在的大家说的这个 Test-Time Scaling,会是一个非常非常有前景的方向。

Insight

AI 末日给学生和老师带来的是“一种解脱”?

  1. AI 末日给学生和老师带来的是“一种解脱”?

可能我觉得相当多的人对 Test-Time Scaling 的能力低估了。你说大家对于 Test-Time Scaling 的能力低估了,然后你觉得它的前景非常的大,你下这个判断的依据是什么?或者说有没有一个具体的例子,一个具体的很困难的问题,你看到它解决了,然后你觉得它的潜力真的很大。你可以这样想,如果你拿出一本字典,你们都背过单词对吧,第一个词是 A ,第二个词是 AA 。然后你就可以写一个机械的过程,就写一小段 Python 代码,然后这个代码可以枚举,比如说所有的由这个字典里面组成的单词形成的句子,然后长度可以是从最短的开始枚举。然后我对于这个句子从短到长枚举以后,我就可以把这个句子交给研究生,研究生可以去做一个 research ,所有世界上的。你要做的研究也好,你要测试一个软件也好,它都存在一段简短的解释。那在这个简短的解释的基础上,我们一个好的导师或者一个好的人,那他就可以把这个空间里面没有意义的或者重复的或者不 interesting 的东西给更好的排除掉。

Insight

test-time scaling 和 small explanation hypothesis,通向 AGI 的秘径?

  1. test-time scaling 和 small explanation hypothesis,通向 AGI 的秘径?

很多复杂的问题,其中的核心思想其实是很简单的一段话,这就是你所谓的 Small Explanation Hypothesis 对吗?你说的太对了,因为在 pre-Large Language Model 的时代,如果我们要做这个 Small Explanation Hypothesis 的话,我需要一个机械的枚举过程,然后有一个机械的生成过程,然后去做做测试。但是在 Large Language Model 的时代,我们发现语言这个东西,我们可以一定程度上驾驭了,那么驾驭就意味着我们的枚举的过程可以变得更柔性,不是一个很硬的枚举过程。而枚举完了以后它就变成了一个有点像导师形成了一个想法,然后把这个想法交给一个研究生对吧。大家都觉得像今天的 Agent、Codex ,它的能力已经达到了研究生甚至博士毕业生的水准了。那就意味着当我有一个想法以后,我完全可以把这个想法以自然语言的形式交给这个 Codex ,然后 Codex 再往后去做验证,去 verify 这件事情到底是对还是不对,最终给导师一个结论性的 report 。

那它就形成了一个人类世界里面的一个新的知识,对吧。这件事情是我提出了这样的一个问题,这个问题的结论是 positive 的还是 negative 的,为什么,证据是什么对吧。这样的一个解释,这样人类人类就可以在这样的一个循环,我只要写这样的一个可能要运行几万年几百万年不知道的循环,但是可以在这个基础上不断地产生新的知识,不需要人类的参与,一个人类也不需要。你觉得这件事情在提高创新或者说提高科研效率上的作用主要是因为提想法变快了,还是因为验证变快了?因为听起来你把这两个阶段都用 AI 来做,在第一个阶段用 AI 来提想法,在第二个阶段用 AI 来验证这个想法。我理解他们都会变快的。你觉得有程度上的区别吗?在 AI 的时代,我觉得任何一个机制上的改进可能都是带来数量级的提升。就像之前我们在 Agent 还跑不起来的时候,我们觉得哦,一个超长的任务是几乎不可能的对吧。可能就一年以前的时候,大家还会觉得一个一个几天,一个星期的超长任务是不可能。但今天就可能了。在这样的超长任务上面,其实你得到的智能的加成,我觉得就是一个非常大的数量级的提升。

所以很多时候我们都不好说未来会发生什么对吧。如果我们允许,比如说在 Agent 里面我们可以有一个非常好的上下文压缩的方式,然后我们可以得到一个近乎无限的上下文。那可能整个故事又变了对吧。我们也许不需要一个这样的路牌,是只需要一个线性的结果就可以了。但是这至少可以给我们的启发是,这件事情是可能的。最开始你在说你觉得可能是末日到来的感觉,然后并且你对整个教育你都会觉得比较悲观,你不知道该怎么教育学生。然后但是后面我又感觉你对这整件事情非常乐观,因为你在做 Agent 相关的东西,然后你觉得 Test-Time Scaling 非常的 excited ,我可以听出你的兴奋。所以你现在是一种什么样的心态呢?我觉得我可能是看到了一个大的方向,但是我又有一种抑制不住自己的兴奋,想要去在这里面弄清楚到底什么样的途径可以通往我们看到的那个极乐世界。然后所以我就想试一试对吧,不管是想要杀死教师的一个尝试,还是想要讲清楚怎么样导出世界上所有的研究的这样的想法,可能我都会去想一想。虽然我可能不会做所有的事情,但我觉得想一想很有趣。绿导师这个极乐世界是谁的极乐世界?

我有一个观点,就是人类,因为我们是物种进化来的,所以我们有一个与生俱来的本能就是竞争。然后竞争催生了各种各样的好的东西和坏的东西对吧,比如说战争,但是战争同时又推动了科技的进步,最后人类还是生活得更好了。那么我们假想如果有一个非常非常非常强大的 AI ,你做任何事情在它面前都是没有意义的,你就失去了一种本源进化给你的动力,你只要按一个按钮你就可以得到快乐。你想的所有东西它早就预判过,它知道做什么样的事情会让你开心。那么在这个时候人就失去了所有生存的意义,因为这个意义是进化本身赋予我们的,然后这些是由我们身体的这些机器和 chemicals driven 的。但这个东西没有没有了以后,我们人就进入那种完全的虚无的状态。我不知道会发生什么,但是我觉得很有可能会有一天会到来。我们就像生活在水缸里面一样,我们也知道自己生活在水缸里面,但是我们对此无法抵抗,我们做的所有的东西机器都已经预判了。你刚提到说觉得大学老师应该思考自己要做什么,或者说自己做的事情还有什么意义,这是你退出软工圈的理由吗?

可能不完全是,退出软工圈的一个很大的原因是,也是可能我和这个领域里面一些相对比较资深的研究者达成的共识是,好的论文的数量变少了。然后你需要被迫的读大量的没有意义的文章,不知道这是如何发生的,但是它确实发生了,所以某种程度上我退出软工圈了。所以你确实退出软工圈了,这不是一个像你退休了一样的玩笑。对,我几乎不投稿软件工程的文章了,除非可能如果我的同学毕业实在是有困难的话,我们还会试一试。那你现在投稿什么文章?我觉得审稿人可能更专业的是 PL 和 System ,所以我最近投的文章都在 PL 和 System ,但是我今年的文章都被拒了,所以对。我们之所以有这个问题,是因为你在四月二十一号的时候,在小红书上说你已经退出软工圈了。但是在今年的五月十六号,在江南大学你还做了一个标题为《一个软工人的辩白》的演讲。你觉得你自己还是个软工人吗?我退出了软工圈,但我还是一个软工人。我觉得在不在软工圈和是不是一个软工人是两件事。软件工程是一个非常成熟的学科,它告诉我们怎么样构造好的软件。

Insight

绿导师退出了软工圈,软工圈也退出了软工

  1. 绿导师退出了软工圈,软工圈也退出了软工

但我觉得因为软工圈开始不再做软件工程的问题,那么我某种程度上我不再,我和这样的一个不做软件工程问题的圈子割裂开来以后,我就退出了软工圈。比如说我现在做一些像 Agent 这样的工作,那它是需要很多的软件工程知识的,那我仍然觉得我是一个软工人。所以你退出了软工圈,但是你还是一个软工人,或者说你的意思其实是软工圈退出了软工,可以这么说吗?我觉得可以这样理解。你的主页上面,你的南京大学软件所的主页上面写着,你要作为独立 PI 离开软件所,所以你的主页会出现在另一个地方。你为什么要离开软件所?这件事情是因为你对于 AI 给人类科研带来巨大的影响的判断呢,还是因为你对于软工圈这个圈子本身的判断?主要还是来自 AI 对我们研究的影响。因为我们的科研体系,学术体系,或者说现在的一个有组织科研的体系,很大程度上没有办法适应现在 AI 技术的快速发展。而在一个团队当中,你需要尽到一个团队的职责,比如说你会需要去代表团队去参与一些项目当中。然后但这些项目可能你在打磨申请的时候,甚至是被拒掉的时候,第二年再申请的时候,这个申请书其实已经变得毫无价值了。

但是你又必须要在团队里面做这件事情。然后我觉得自己的感受是可能在这些年里面,因为这样的事情花掉了我很多很多的时间,然后终于我觉得应该鼓起勇气有一天说说,也许不要做这样事情了,反正死和活对我来说都不重要。我相信有一天我应该是活在那个极乐世界里面,泡在这个 AI 做的缸子里面的。所以也许应该去做那个更 exciting 的事情。蒋老师能不能先给观众朋友们讲一下,就是作为独立 PI 和你之前就是在软件所,他们之间有什么区别?我感觉可能不会有特别明显的区别,因为对我来说就是带学生和上课。我觉得其他的所有的事情以及想想 research problems ,除此之外所有的事情都是不应该做的事情,都是必须承担的 overhead 。我只是在减少那部分 overhead ,但是 overhead 对我来说就是不想做的事情,所以我在我看来其实没有什么区别。那部分 overhead 是什么呢?这是一个很好的问题,我的时间都到哪去了呢?OK ,我们要写申请书,然后我们要争取比较大型的高规格的项目。

Insight

论文、经费、职称,如何把老师和学生都逼成 reward hacker

  1. 论文、经费、职称,如何把老师和学生都逼成 reward hacker

而这些本身就是,而且项目做完以后要有一个非常严格的执行,比如说你在项目要验收的时候,你会需要第三方的测试报告,然后会有非常长的文档,你需要花很多的精力来做这件事情。因为可能你的 junior PhD student 做不好,然后做不好的时候你就必须接管很多这样的事务,对。所以区别就是你不用做项目了。就说我不管自己的死活了,没有项目就没有钱嘛对吧。那也可能就没有钱来带学生,对吧?对,有一定的风险吧,应该说。那你觉得没有项目,没有钱,没有办法带学生,不会影响你对于你自己的研究的追求吗?我觉得对这件事情想的越来越开了,因为这就涉及到学术圈的评价体系的问题。对于每一个同学来说,我都想发很多的 paper ,然后可能就能找到一个教职,然后可以稳定下来。这可能是一个十年以前的一个标准答案,但是这个答案在今天其实已经不一样了。然后我们又有过去的惯性,因为我总是能够收到同学说简历发给我简历说,我发了多少多少篇论文。然后当我点开那个论文的时候,发现那个论文没有办法看。我们在一个旧时代和新时代过渡的中间,在这个过渡的时间很多机制没有缓过来。

这就意味着我们要带着旧时代的负担,还要把新时代的事做好。那很多时候就对于一个老师来说,就成为了不可完成的任务了。而当你的评价指标又是旧时代的时候,你为了活下来,你又必须要管那些指标,所以其实我。

选择我不要活了,但是我觉得应该做一点有意义的事情。比如说我说我今年 paper 都被拒掉了,是因为很大程度上是因为我的 paper,嗯这两篇 paper 都没有 baseline 可以比。就是你找遍世界上已经发表的论文,然后你没有,你找不到一篇合适的论文是可以作为它的 baseline 来比。就说这是一个全新的东西,很难 evaluate,所以我很难说服审稿人说这个东西,它就一定是定量上比别人好,这非常困难。但可能审稿人也会隐约觉得 OK 这个东西还挺好的,对吧?我们被那个 PLDI 拒掉那个文章的分数是一三三三四,是 strongly reject,然后就被那个一分给干掉了,对。我觉得可能我们应该做一些真正的,到了做真正的东西的时候,而不要管那些评价体系了。我可以理解你想要抛弃旧时代的负担,你想要抛弃旧时代的评价体系,你想要抛弃那些很固定的、很僵化的写申请书的流程,可是我想不管是在旧时代还是在新时代做事情,尤其是在新时代,尤其是在这个scaling 能够带来更好结果、更大智能的时代,你想要做一件事情是需要钱的,你的钱怎么来?

你说的太对了,当你真正需要钱的时候,没有 research funding 可以 cover 你的钱。所以你总是要找其他的方法。比如说也许 DeepSeek 愿意赞助我很多很多用不完的 token,对吧?我现在每天就是 CodeX 带着 DeepSeek,可能能烧个两三亿的 token。这个数字其实不小了,然后但这个花销目前我还是可以承受得了的。但再多的话我可能就,如果再翻十倍或者我要用更好的模型,可能我就承受不了了。那可能没有任何一个科研经费可以 cover 这样的 token 消耗,那也许只能有别的办法。所以我觉得在新体系下和旧体系下其实是一样的。如果我们听众中有这个 DeepSeek 的员工的话,希望听到蒋老师的话之后,可以赞助他一些 token。你刚刚提到说,没有任何一个研究经费可以覆盖你想要的开销,那去哪里找?应该这么说,现在的评价体系是希望你能够带一个大团队,尤其是在学校里面带一个大团队做一件非常大的事情。然后这样你分到每一个人头上的钱就还算是比较充足。

但是这件事情在学校里面本身我认为是一个伪命题,因为你在学校里面是不可能,可能清华北大除外啊,在其他任何一个学校都很难凑成一个真正有战斗力的,有老师和学生组成的团队,能够做一件真正大的事情。对吧?比如说做一个智谱这样的事情。那如果当你做的东西,或者说我认为你可以做的事情,在学校里面可以做的事情有两种,一种就是你做那种,我这个 idea 非常牛逼,我只要证明它是可以的,那么当我把它 publish,甚至往 arXiv 上一挂的时候,那么大家就知道,哦,我们可以往这个方向去做了。那我觉得这个可能不用花费特别多的钱,所以我们可以在学校里面做这件事。然后。另外就是我可能需要一个很大的算力去验证的东西,无论是 token 还是算力,那么我相信 Inet 谁会愿意支持做这件事儿。所以可能学术界的科研经费就显得不那么重要了,而大家那么执着于经费的根本原因,其实是,科研经费是学校考核老师的标准,你的经费越多,你就牛逼,你经费不够你就要面临被赶走,走人的困境。

Insight

面对旧时代的评价体系,绿导师选择掀桌子不玩了

  1. 面对旧时代的评价体系,绿导师选择掀桌子不玩了

那我已经选择不活了,那这对我来说也就也就无所谓了,我只要能够 cover 学生的工资,不让他们饿死,然后还有点 token 能用就,我觉得已经 OK 了。蒋老师您说不活了,其实是不想活在过去的那个研究体系和判断标准了。如果让你设计一个适应当代的incentive system,就是更有助于做真正的事情,就像你说的,你会怎么设计它?不好意思,我问一下,这是针对老师的还是针对学生的,还是整个体系的?整个体系的,就是您刚才其实聊的过程当中,就是说原先有很多大家要发 paper,拿科研经费。然后呢,整个这个 loop 其实您觉得这个不是特别 align,说我不活了。我就想知道,如果什么样的体系您会觉得我会活得比较舒服?这是一个非常复杂的问题,因为从国家的角度,它要运转,它就必须要有一个自上而下的机制能够实现对所有科研人员的管控,这当然是非常不容易的,对吧?所以它有必须要有一个评价的指挥棒。他说你能够得到,当然最终来说你是能得到,比如说国家奖,你能评上院士,代表你是国家对你的最终认可。

然后在这个认可下,它会形成一个学术权力的金字塔,一旦有权力,权力可以分配,那么这个体系就可以转起来。这个我觉得某种程度上是必不可少的。但是从。另外一个角度来看,因为我们说,学术创新它产生的是一个新的想法,这个想法又不一定是由这个,尤其是颠覆性的创新,不一定是由这个自上而下的组织给产生的。所以这里面天然就有一个张力,从最理想的情况来看,应该是我们的学生都不要去发任何的论文,或者说发表只需要一个非常底线的发表,然后最终以一个很好的同行评议的机制来找到那些谁做出了最有价值的贡献。但与此。同时,你又没有办法去阻止,如果真正它启动了。这样的一个体系,你又没有办法阻止一些怀揣恶意的人在里面套到利益,所以它依然需要用 peer review 这个机制,尤其是,比如说顶会顶刊这样的机制,来筛选掉那些绝对的恶人。对吧?比如说他没有一个正常的学位,也没有发表过任何论文,但是他做了一个假的简历,然后就被以一个非常高的规格引进,他还需要杜绝这样的事情。所以这个世界。其实比大家想的要复杂一些,你首先要让这个体系能够转起来,你又需要让它转好。

怎么样,我可能不知道,或者说也许是有越来越多我这样的,不想活了的人,然后并且又有学校,比如说南大可能还愿意收留我,那可能就会往好的方向发展。你刚刚在谈整个学术界的评价体系,包括对于科研人员的评价体系,那作为一个大学教师而言,你觉得现在这个评价体系更看重的是你的科研成果,还是你对于学生的培养?我觉得更看重的是他 reward hacking 的能力。我觉得任何一个评价体系都可以说这样的话,对吧?对,比如说有经验的老师会劝年轻老师,你千万不要好好上课,你好好上课你就进入陷阱了。然后他会劝老师说请你多出去走一走,然后一定要多结交朋友。然后这其实是一个 trade off,对吧?你这些事情做得多了,你自然做科研的时间就少了。但是因为你的评价体系最终,你还是要得到这个金字塔里面的某一个位置,那么你,你能活下来的,你就看 trade off 嘛,就是你愿意牺牲多少自己的灵魂来得到这个世俗的认可。也许有人可以平衡得很好,因为他的实力很强,所以他也许可以不需要那么的世俗。

但是可能更多的人,尤其是,有很多人也许他自己没有受过非常好的训练的人,他自己本质上是一个不自信的人,那他会坚定的会选上这个 reward hacking 的路线。当你说你不想活了的时候,实际上你在说的是你想要彻底放弃对于世俗评价体系的追求,而拒绝做一个做 reward hacking 的人吗?某种程度上是,就是遵循我内心想做的事情。你刚刚说一个实力很强的人其实可以兼顾两点,但我们其实看到你的实力就很强啊,你有获得这么多的 best paper,你有获得这个 CCF 优秀博士毕业论文的荣誉,你觉得你的能力还不够强到足以两者兼顾吗?我绝对不够强。我的例子,我说我有一位启蒙老师,然后他做的非常好,一直是我的偶像,我经常还会去他办公室,让他骂骂我,把我骂醒一点。然后这位老师,我觉得他实力是远在我之上的,但是他应该是杰青,可能有四次没有上,四次上会就没有评上。所以我不知道那些其他评上的人是怎么评上的,但是事实就是,你有实力也是没有用的。谈到大学教师对于科研和对于学生培养的评价,其实我觉得很重要的一点就是,你在培养谁,或者说你在和谁合作。

所以我想先请教一下你关于学生选拔的机制的问题,你在 2025 年 5 月发了一篇文章,标题叫做副教授实名举报计算机专业学生编程水平不如小学生,当时是发生什么事了?大家都知道我是一个很喜欢整活的人,然后我就整了一个大活。我先补充一下,我因为我也是老竞赛选手,我已经给小学生出了十年的题了。然后大家还挺喜欢我的出题风格的,因为我一般来说出题就是让这些培训机构猜不到,永远猜不到我会出什么样的题,但是这个题小学生又能够做出来。于是我就做了这样的一个实验,我把有一年出给小学生的编程题,出给了我们应该是考研来复试的学生。然后完全一样的题面,当然我们复试是英文的题面,然后我用 ChatGPT 直接把它就一模一样的翻译成了英文。完全一样,完全一样的测试数据,然后结果就是,过来考试的同学们惨不忍睹,所以事实就是,不如小学生。

Insight

学生选拔崩坏:为什么考研复试学生的编程能力,可能不如小学生?

  1. 学生选拔崩坏:为什么考研复试学生的编程能力,可能不如小学生?

就如果我严谨一点说的话,就是,你假设这两个题目难度一样,就是英文没有造成阅读障碍的话,那就意味着进入,这个我们学校研究生复试的这个本科准毕业生,编程能力远比南京地区利用课余时间学习编程的小学生群体,当然这个还是参加活动还是经过一定筛选的,他的编程能力要低。你可以给我们的听众解释一下,这个题目是一个什么样难度的题目吗?有没有?可能是。因为这个题目太难了,只有小学生才能做出来?这个题目是这样的,我们都知道我们有一个身份证号,身份证号前面六位是你出生的那个地区,然后接下来是你的出生日期,然后最后有一位校验码。这个校验码是冗余的,也就是说你把它演起来,你也可以把它算出来,你就可以知道身份证号是不是?合法,防止你手滑以后把身份证号填错。你们在填网页的时候,经常都会不小心填错以后,它会告诉你这不是一个合法的身份证号。然后你的任务就是,我已经告诉你了身份证号校验的规则,写的非常清楚,然后你需要写一个程序来校验身份证号是不是?合法,以及出生日期是不是?在 1900 年 1 月 1 号到 2025 年 5 月 10 号之间的某一个合法的日期。

就这样的一个简单的题目,我觉得是大一程序设计期末考试的题目。那你觉得为什么会有这么多的参加考研复试的学生做不出来呢?是不是因为他们没有像小学生这样有这么好的小时候就参加编程培训的条件呢?还是说你觉得是他们自己的问题?很好的问题,应该是评价体系的问题使得他们成为了 reward hacker。因为他们考研最重要的就是四零八的那个专业课,然后我有一年去改过那个四零八专业课,然后我就我还是有点受不了那个题目。就我不知道出题人脑子怎么怎么样了,能够出出这样没有任何意义的一个服从性考试的题目。有有种什么感觉呢?这个考试就像是给你一本书,然后这本书是一个 random string,random bit string。然后他的问题就是从这个 random bit string 里面掏出某一个位置说,请你写出这个第三十八页的第六行的那个 bit string 是什么。然后这个东西因为它是不可压缩的,就你不可能建立一个更好的知识模型来理解这个知识,所以你只能把它记住,然后考研的人就花了时间去记了这个,然后他其实什么也没有学会。

所以你刚刚的这个利用压缩来对于这个四零八的解释,我们可不可以理解为,需要在这个考研的初试中获得好成绩,你所需要的其实不是对于知识的理解和运用的能力,而是对于它的原话的记忆能力。或者说是考研的机构发现了一条捷径,使得你不需要去理解它,也就可以在考研里面获得一个相当好的分数。因为大家的目标是,可能是上一个研究生,然后我先上再说,其他的我不管。所以这就成为了他们最保险的途径,因为你他从头开始好好学习编程,这个学习的路径很长,然后需要大量的练习,他们可能觉得自己完不成这样的好的训练,所以他们就选择速成,某种程度上也是被逼的。在这篇文章的评论区里面,有一个网友评论道,这年头能到南大复试线的,少说有一半是心无旁骛地备战四零八的四门科目,一年乃至两年的编程实践是啥,只会影响我刷考研习题集的速度,您认为这就是你提到的针对现有的考研评价体系的 reward hacking 吗?You are absolutely right。那你觉得,这个考研评价体系,或者说这样子 reward hacking 它的问题出现在哪里?是学生吗?是培训机构吗?

还是说是制定这个评价体系的人呢?我想想这话能不能说,我想想这话能不能说。能说,我还是用一个能说的方式来说。我的观点是这样的,我们的考试组,从上到下我们的国家没有足够的人才,也没有一个足够好的流通的体系,使得有能力的人可以去主导这样的一个考试。而是它一旦确定了一个范围以后,它可以觉得很安稳的做几十年,因为它只要不出错,对它来说就是好的。那他也可以做一个 reward hacker,就是每年就出一样的类似的题目。然后这个题目你也不管它在现实世界今天的意义下和计算机专业已经有多么的脱节,它只要有一个服从性的考试,能够把大家的成绩按照从高到低排序,并且 somehow 它还可以对外辩解称,说我说的这些东西还是和计算机有相关性的,那当然是有相关性的,那么它就在一个不败之地上。那么这个体系不摧毁,那 reward hacking 就是一个必然的现象。但是这个体系要摧毁,又需要大量有能力的人,愿意在这个体系的底下一点一点向上走,但这样的向上的通道几乎就不存在,所以这是一个系统性的问题。

我能不能?理解为,当你的向上通道,当你获得主导选拔机制的通道本身就需要你通过 reward hacking,通过向评价体系妥协来走的话,等你走到那个地位的时候,其实你已经不会再是一个拒绝 reward hacking 的人。这我不确定,但是我作为一个不喜欢 reward hacking 的人,显然我拒绝一切和教学相关的这种评价体系上的东西,包括奖励荣誉这些。我唯一我觉得我获得一个,南京大学学生评选出来的我最喜爱的老师,然后当时很惊喜,因为我不知道是学生用脚投票投出来的,然后这是我唯一的获得的某一种好像有一定官方认可的荣誉,但是这个荣誉没有任何用。这个荣誉在你看来才是最没有 reward hack 的,最真实的反映了。你的教学对于学生的影响。我觉得是,这是学生对我的认可,但是它不能帮助我在任何意义上向上哪怕走一小步。你本人是通过 NOI 保送到南大的,然后我们这个节目之前许多的嘉宾也是信息学竞赛选手,你觉得和考研初试比起来,信息学竞赛是一种更可靠的选拔机制吗?曾经是,现在信息学竞赛已经发生了巨大的变化。

我曾经有过一个视频,说信息奥赛发生了什么,然后劝退各种各样试图学信息学奥赛的人。因为现在信息学奥赛首先它难度已经就它成熟了,它和我那个时候不成熟的时候不太一样,它成熟了。以后,它就可以像数学竞赛一样,在一个空间里面某种程度上的一种服从性的测试。但是它可以很好的反映你的逻辑推理的水平,那么这个时候老师就显得很重要,但是信息学竞赛的老师又非常稀缺,所以这就最后变成了一个有一点点,尤其是在可能要到 NOI 竞赛的时候,它有一点点不健康的竞赛。所以我在今天看可能我不是特别推荐大家再去参加信息学竞赛了。所以这符合你之前的观点,当一个评价体系非常容易或者说非常的,被 reward hacking 给主导的时候,它就不再是可靠的选拔机制。竞赛还不太一样,竞赛还是一个可靠的选拔机制,因为它足够难。它不是一个完全的服从性的考试,所以保送上清北这个事情还是没有问题的,但是在这条路上牺牲了太多,可能不适合走这条路的学生,这是我比较担心的事情。

所以你推荐大家不要盲目的参加竞赛,不是。因为你觉得这个选拔机制不可靠,而是。因为你觉得它现在过热了,或者说。其实有很多人不适合通过这个选拔机制,你是针对那些参加者而言的,而不是在对那些选拔者,或者说主导这个选拔的人在说这个比赛不好。对,主导选拔的人必须要选出那五十个人,所以他只能这样出题。就是。因为现在选手已经这么强了,所以他只能这样出题,而你为了达到那个强度,你需要付出的代价,对于绝大。

大部分人来说都是不可接受的。最近我看到你也参加了另一个选拔,或者说另一个对于学生的考察,就是全国大学生计算机系统能力大赛。然后你在 6 月 13 号小红书上宣布说你退出了。这个大赛的技术委员会,你可以讲讲技术委员会是做什么的,然后当时发生了什么吗?技术委员会主要是评审和制定规则,但是可能我不能透露太多,因为好像有一个保密协议不能对外,呃,透露太多关于这个竞赛的事项。但我想也没有太多的约束,呃,当时大家主要的问题是在最终决赛的时候,应该是有一个 12 个小时的比较长的编程时间,那么允不允许大家用大语言模型?然后我们几个可能比较年轻的老师,包括我们的那个技术委员会的主席,呃,都是认为还是应该在一个受控的情况下提供一些,呃,大语言模型的 API,因为,呃,从我我这边来讲,呃,现在就尤其是这一代,这两年的学生,他处理这个,呃,细节问题的方式已经和我那个时候完全不一样了。比如说我读书的时候,我我会花很多时间读手册,然后把那个手册一遍一遍读,然后要记住里面相当多的内容,呃,像古法编程的巅峰了。

呃,嗯,比如说你要做一个 GIT 命令,那我都是肌肉记忆,但是今天的学生们不一样了,今天学生他只要有对 GIT 的,比如说模型有一个很好的理解,那个数学的模型它是一个 Persistent Data Structure,然后他可以,呃,做什么样的操作,然后至于什么样的命令来完成这件事情,他不需要知道,他只要跟模型说好,我现在要干这件事,达成这个目的,请你帮我做。所以这可能是一个学数学的人,他他有一个非常好的数学概念,但他对命令行计算机一无所知,他依然可以完成这件事。然后在操作系统竞赛的时候同学们也是这样的,他们在,在解决这些细节问题的时候,通常都不需要再花很多的时间去肌肉记忆一个底,非常底层的东西,他只要知道原理啊。就可以。那如果你允许他在初赛的时候用,我相信他大部分的,所有或者百分之百的这样的细节都不是由,呃,他手动手工完成的。那到决赛的时候他就变成了。你砍了。他的手,捆了。他的手和脚,让他来展示一下他的才能。

那对操作系统竞赛来说我觉得不 make sense,道理是这个道理,然后我不知道为什么老登们总是觉得,呃,可能他们没有用过大模型吧,对,所以最终大家还是投票。然后,呃,决定禁止使用大模型,啊,就是这样的一件事。你刚提到说初赛的时候,或者说预赛的时候允许选手允许学生使用大语言模型,但是决赛的时候不使用,你觉得这是一种冲突。同时你也提到说现在这一代 CS 学生或者说系统学生,他们处理细节的方式和以前的人不一样,他们往往会通过在一个比较高的抽象层级上,对一项技术建立理解,而不是去了解这个技术,细枝末节的方式来学习一项技术。那这种学习方式是依赖于 LLM 或者说 AI 可以帮他们处理细节的,你觉得这两个原因哪个原因让你觉得是更大的原因?当然是他们解决问题的方式变了,现在人很难在没有 LLM 的方式下再工作了,所以当你把我丢到一个完全封闭起来的,呃,古法编程的现场的时候,我觉得我的学生,我就我自己的能力。其实也极度的退化,但是这不代表我没有办法设计一个好的 system,或者,呃,能够做一些比较 fancy 的事情。

你觉得脱离开 AI 或者说脱离开 LLM,做不到很多事情是现在人能力的一种倒退吗,还是说是现在人能力的一种转变或者说进化?好问题,因为我们有了 LLM,所以在有限的时间里面我们可以学更多的东西了,而不是你必须要花很多的时间去掌握一项技能性的东西,而是你能够通过某一个方式把它的原理理解了。以后,你就可以去创造一些以前你想都不敢想的事情。也就是说,我们的在大学里面嗯,能力的边界。其实被极大的扩大了,而这才是,呃,我们真正应该要拥抱的东西,而不是说,呃,哎呀,操作系统大赛我们还是把你们都捆起来,啊,去做题吧,这样。那从这个角度上来说,其实很多比赛或者说很多能力,在有了 AI 之后都应该边界被扩大,大家都可以在更高的层级上去思考和做事,然后在同样的时间里面做到更多的事情。那你觉得所有的选拔机制都应该允许 AI 的使用吗?举个具体的例子来说,你觉得信息学竞赛应该允许 LLM 使用吗?

我觉得信息学竞赛打一个类比就是武术,我觉得是一种首先它可以强身健体,也就是说它可以锻炼你的逻辑能力,呃,其次它还具有一定的观赏性,当然可能是相对于圈内人来说具有一定的观赏性,那么,呃,它就是一个很好的舞台,可以去评价你这个方面的能力。那么你想武术比赛,你你应该不会想象,呃,在武术比赛当中掏出一把枪开始对射吧,对吧?,所以我觉得武术比赛有一个它,呃,封闭世界的规则,这个是是 OK 的。啊,但是如果你真的开始打仗了,呃,那你会派这些练武术的人去打仗吗,还是你选择,呃,无人机机器人和导弹对吧?,这个答案可就非常明显。所以我觉得像比如说操作系统竞赛,它是一个呃展示你系统能力的综合能力的舞台,那么。当然应该允许 LLM。那如果是呃 OI 竞赛,那么它更像是,呃,一些爱好者一起的游戏,那你们只要把游戏规则定好了,对,对吧?,你像掼蛋,对吧?你,呃,理论说我有一个好的这个状态空间搜索,我能把它全部搜索完的时候,我就可以做一个最优的呃决策,那掼蛋就没有任何意义了,对吧?

,呃,但是你依然还是会看,呃,大家打掼蛋,呃,同样的你依然会有一批人会喜欢 OI 竞赛,这是我的理解。我觉得这个类比特别好,你把算法竞赛以及算法竞赛相关的一些条件限制比喻为武术中不能使用导弹这样子的限制。可是我们也看到自从现代的武器,现代的兵器出现之后,大家越来越不会把武术水平作为衡量一个国家,或者说一群人他们军事能力的标准。也就是说武术这个东西从一个非常重要的衡量你的军事能力的,呃,一个方面,它现在变成了一个一一群爱好者,一群小圈子自娱自乐的一个游戏,你觉得信息学竞赛也在变成这样吗?信息学竞赛还承担了。另外一个职责,呃,就是为国家筛选那些真正具有逻辑推理能力天赋的人。那如果这个职责不消失,我觉得信息学竞赛依然还是有价值的,因为,呃,你反过来这样想,如果我们最终评价还是能不能?在战场上面获胜,那么倒过来推你就需要一个非常强大的工业和科研体系,然后这个工业和科研体系必须能够造出比你的对手更强的武器,更强的导弹,更强的无人机,而你建设这样的强大的工业和科研体系,又需要不同类型的人才。对吧?

,比如说如果你要建工业体系,你首先就需要有很多的人口要解决人口的问题,然后如果你要科研体系,至少从目前的版本答案来看,我们依然是需要这个逻辑能力极强的人,那当我们需要这个极强人的时候,我们就需要一个体系,所以有的时候这个社会的运转是比较复杂的,呃,每一个体系存在都有一些问题,也有一些它存在的,呃,道理,啊,但最终他们会形成一个整体,是我们的,呃,在发展当中的国家。刚刚你提到很多人现在使用一项技术的方式,或者说使用一种工具的方式不是去阅读这些工具的具体的手册,而是去用 LLM 来处理一些技术细节,而自己只理解这些工具的顶层的逻辑,或者说它的数学模型。那你觉得 2025 年学生编程能力不行这样的事情,对于考察学生而言还重要吗?因为我想任何一个 LLM 都可以非常轻松的做出这样一道身份证校验码的问题,你觉得还需要考察学生的编程能力吗?从某种程度上来看,至少我们想要招收的学生还是应该具有一定的编程能力的,然后。

同时我们的招生也是有一个明确的标准的,你应该掌握这些课程当中的内容,所以这样的一道题目,呃,从考核的角度来看它是公平的,也符合,或者说对于那些学生他学过的课程的我们的一个要求和想象。所以在这个意义上我觉得,呃,他们是被迫来考试的,那我们也被迫用,要用一个方式把他们拉平,所以我们需要,呃,出这样的题目,那如果至于怎么样考察他们,比如说使用在有 LLM 的时候,他们人的能力,呃,那可能是交给比如说导师来判断的,这样。我们有时候也是无奈要设置一个选拔性的考试,我们必须要出一个卷子,而且可能比如说机试这件事情本身就已经是预定好了的,他必须要一套题目,那我的职责就是出一个,呃,我认为他们应该能够完成的题目来,来完成一个筛选,啊,只是这个效果远远不,远远不及预期,而且这个不及预期可能不是。因为这些学生用了 LLM,因为他们在,呃,入学的时候。其实那个时候他们能用到的模型可能还没有那么好的编程能力,他们几乎不能用它来解决编程任务,那个时候也没有很好的 Agent,所以这个题目从考试的角度来来看是成立的,呃,但从时代的角度来看,也许这个考试不应该存在。

你刚也提到公平不公平是一回事,但是考核的意义本身是另一回事,你觉得未来存不存在某一个时刻,一个没有办法熟练的,或者说正确的做出身份证校验码这样子问题的人,通过 LLM 其实可以设计出非常好的系统呢?或者说如果这个时刻来了的话,针对一个人能力的考察应该怎么进行呢?非常好的问题,我可以回答 Everything is a state machine。

因为每一个人也是一个 state machine,然后你,呃,我为什么会说 state machine 呢,因为这就是我思考所有的问题,比如说我要做一个 system 的时候,我的 first principle,然后你把这个人想象成 state machine 以后,呃,其实你人每一个人都有一个成长经历的轨迹,然后如果,比如说你有这个人在所有的时候和所有人的沟通交流,他表现出来的样子,他解决问题他解决的那个过程,那么你把它做一个压缩,把一些可能不重要的信息给删除掉,可能有些实在是隐私上面不应该暴露的东西,呃,他也可以选择不暴露,那么你 digest 他的这个 state machine 上 execution 的 trace,你就知道你要不要?录用这个人了。所以。其实,呃,在有了 AI 的时代,我们不管是评价也好,还是筛选也好,我觉得都变容易了,而不是变困难了,只是你愿不愿意以某种形式,呃,向一个比如说,呃,区块链一样,你去把你你的经历去 persist 到这个区块链上,使得别人可以审查它。

您之前写过一篇特别著名的文章叫给天命人的劝退信,然后呢?是写给很多准备读博的学生,您现在自己也在带博士生,啊,同时您也在设计竞赛题,您可以分享一下您是怎么去选拔你愿意一起工作的学生,以及你怎么培养。可以说我没得选,因为,嗯,我总是需要一些学生,然后那么,嗯,如果有学生来,我有名额的话,我我可能会选择把这个名额给他,啊,只要我觉得他还是有,有有一定的 self motivation,我觉得就可以。然后至于培养的话,我觉得可能我不是一个特别擅长培养学生的导师,啊,我我我我觉得我还是尽责的,就我所有跟学生的开会都是一对一的,呃,然后我可能也会给他分享我的观点,啊,这样,但是我细节的东西可能确实会指导的少一点,尤其是现在 AI,啊,学生大部分时候可以问 AI 来获得技术上的,呃,这些细节,但我不一直不觉得我是一个。非常好的导师,因为我觉得我的学生要么就是能够按时毕业,要么就是很长时间毕不了业,有点糟糕。您刚才提到,就是把之前他的人生经历作为一个状态做压缩,那您一定也会有一个判断,说这个学生是不是?一个我喜欢的学生,或者他有没有?

Insight

《劝退信》之后,绿导师想要什么样的学生?

  1. 《劝退信》之后,绿导师想要什么样的学生?

,呃,跟你一起做科研需要的素质,您怎么去压缩这件事情?看什么?你面试学生的时候看什么?如果我给我足够多的样本可以挑的话,我想找的是那些没有做 reward hacking 的人,因为我确实收到过很多简历,就觉得他就是 reward hacker,或者说现在有一个风气每,我收到的每一个简历都是一样的,都是我参加了。这些这些这些项目,然后我,呃,发表了。这些这些论文,也可能有论文也可能没有论文,参与了各种各样的东西,拿了各种各样的奖。然后如果我会问他,你觉得你你做的一件最了不起的事情是什么?他说不出来,他会说,哎呀,我在这个项目里面做了一个 A 加 B 的排列组合,然后我就觉得这个这是你的动机吗?对吧?,你的动机应该是是啊,我就要做一个特别酷的 Gal game,然后这个 Gal game 大家玩了。以后就觉得很很厉害,可那真的不是那么的完美,做的也不是那么的好,但是,但是他有一个对自己东西的,呃,说自己东西的时候眼睛里有光,哎,那我觉得就是一个很好的同学。您在不同的场合都提到要培养科研的 taste,什么是 taste,您能展开说说吗?

哎,就说到了。我前面那个 small explanation 的时候,我们说我们要能够有一个过程,对吧?,有一个程序可以,呃,枚举所有的解释,然后可以找到这个世界上所有的 research topic,然后派博士生去研究它。然后你的 taste 就是你对那个,呃,拿着字典,然后枚举句子那个空间训练出来那个 manifold,你你你把它压缩到一个低维的结构上,你每一个人都是一个压缩,就是智能嘛,你把它压缩到一个低维结构上,然后你排除掉的那些东西和你留下来的那些东西,对吧?,如果你的 taste 不好的话,你那些有意思的东西就永远不会出现在你的 manifold 里,你训练得不好,然后如如果你你你 taste 好的话,你就可以找到一些别人,呃,意料之外的对吧?,但是情理之中的,呃,很有价值的东西。这是我的一个比较 technical 的理解,但是人类还没有完全把怎么样,比如说培养有一个有 taste 的人,这个方法得到一个确定性的途径。

你刚刚说就是你选拔学生的时候,你可能会问他们你做过最了不起的一件事是什么,所以你可以很快的给观众朋友们回答一下你自己对这个问题的答案吗?不要思考。不要思考,呃,我觉得还是我看清了 AGI 的路线,因为我觉得我我设计过很多还是还是不错的东西,但是都不如我觉得有就有一天我突然,呃,看清楚了一个 AGI 的路线这件事情,可能对我来说是一个非常有意义的事情,然后如果你愿意的话,我可以花几个小时来把里面的逻辑一点一点一点一点给讲出来。如果说现在我们只有五分钟,您要说服我你眼中的真相就是 AGI 来了,你有没有?一个比较简短的版本?你有没有?办法把这个你眼中的真相做一种压缩?可以可以可以,当然可以,我我觉得都不需要,不需要五分钟,就是一个一个非常宏观的想法。因为刚才我们在讲到的时候,其实我从中间的某一个位置开始讲起了,然后,呃,所以这个逻辑前后就有点,呃,有有有点不断,呃,有点断开。呃,我们发现我们的那些成功了的,就是塑造了。我们生命,塑造了。我们的品性,塑造了。我们的品味的那些东西,都是由一个叫,呃,一个一个一个很小的东西通过组合和复用实现的。

也就是说,不管是我们的可以想象是 DNA 也好,蛋白质也好,还是我们的神经元也好,呃,它们的本质都是一个一个一个的小东西,每个都有点不一样,然后。但是它们组合起来以后,经历一个计算的过程,它就可以得到一个非常有趣的结果。然后这个结果又可以用来评判好和坏,比如说我我的种群是不是?,呃,竞争上面获胜了,然后我的生命是不是?存续了,然后我是不是?更好的预测了,对吧?,神经网络。那么这个过程会带来一个非常自然的结果,结论就是 Scaling Law。你想我们从最简单的只有几个 DNA 几个 basis 的生物开始,然后,呃,成功了,在 DNA 再长一点再长一点,蛋白质再多一个再多一个,神经网络最早的那个灵感秀丽线虫就是三百零二个,呃,神经元,三百零二个神经元,如果我没有记错的话,呃,三百零二个神经元,但是它可以找到这个食物,可以找到最佳温度的区域,可以避开不利的地形,甚至去学习有记忆学习环境的特征。然后通过复制同样的结构,它就可以实现能力的 Scaling,然后我们就看到了越来越大的生物,对吧?

,所以 Ding 呢,在一百多年前就问人类为什么这么大,然后我们又有了更好的大脑,就是一个更好的 predictor,然后这个 Scaling Law 其实在 Pre AI 的时代就不断的在被人类给利用,而其中最有趣的就是语言,所谓的语言,它同样是一个可以组合和复用的 basis,就是一个一个的汉字,或者一个一个的 token。然后语言的目标是实现群体的对齐,实现可以迁移的后天记忆,让不同的人看到或者听到同一个字,可以产生一段相同的联想。我就举一个,呃,俗一点的例子,我我经常举这个例子,说我今天上班来的时候看到了一个美女,然后当我们谈美女的时候,这件事情大家就一下子对齐到了同一个 embedding 上,但是。其实每一个人他在这一生中看到所有的人都是不一样的,他对美的感受也是感性的,对吧?,可能你你喜欢的那个,你觉得美的那个,你的初恋就是胖胖的,然后你的初恋又是长头发的或者短头发的,你会认为那个叫美,对吧?

,然后他们是做了一个抽象,然后对齐到,呃,同样的 embedding space 上,然后语言也是有 Scaling Law 的,它可以组合和复用,从最早的,呃,可能比如说一个象形文字一个山字,它就是一个像山的样子,然后不同,只要你画出来大概像那个样子,你就知道是这个字,读这个音,对吧?,直到我们。后来有了车同轨书同文,有了数学的语言,我们都是在这个 basis 上面做组合和复用,而这个组合和复用的能力带来了。

Scaling Law,然后带来了 Scaling Law 以后,呃,我们就可以不断的在这个层次上面生产下一级的智能。也就是说我们有一个金字塔一样的结构,最底下是 DNA 蛋白质神经元语言,在语言上面有了数学的语言,为什么有,为什么数学的语言特别高效呢?是。因为数学语言在全世界的人眼里都有一个确定的形式语义,所以我就可以做基于全世界人都达成共识,去做一个长程的机械推理。对吧?,就是我们现在的 Next Token Prediction 可以,对吧?Auto Regressive 可以实现数,解决数学问题的一个基座。然后在这个数学语言的基础上,我们造出了计算机,有 LLM 的 Agent,然后但这次不一样,这次我们的组合和复用,我们这个元级的机制是可编程的,我们的甚至这个元级的机制可编程是可以由这个计算机自动去修改它的,对吧?AutoML,我们可以自动去优化我们的 MLR 的 pipeline 去提升神经网络的能力。

而这带来一个,呃,我们不需要人,不需要物理世界的驱动,而只要一个循环,就我说那个 Small Explanation 的循环,我就可以实现无限的算力换无限的智力,这就是我理解的 AGI,压缩就是智能,Scaling 就是 AGI。我觉得非常的有启发,然后我觉得如果我们有时间允许的话,或者说如果你有兴趣的话,我们后面可以专门挑一期来仔细聊这个问题。因为我觉得这个。其实可以聊得非常非常多,而且我们可以跟一些其他的人的观点去互相的印证和讨论。我下面想一个想,想问一个关于培养和筛选的问题。我们前面提到了 AI 时代如何去选拔和考察人才,但是你自己也表达过一个观点,就是你不单单想要去筛选人,你想要去培养人,甚至说当一个系里面的领导说,想让你去跟一个比较老资格的教师去学习他的操作系统课程的时候,你直接选择了拒绝,你选择自己去掌握你上课的权利,自己去安排你上课的内容。那你觉得筛选和培养的关系是什么?或者说你现在选拔的过程中遇到的一些学生,他们在 Reward Hacking,他们没有展现出你所想要的编程能力和逻辑能力,这件事情是。

因为他们之前的培养,他们本科阶段的培养不够吗?我觉得很大程度上是不够的,啊。我觉得有一个最近我听到那个 3Blue1Brown 的创始人,就是那个非常著名的数学科普博主 Grant Sanderson 的访谈,然后我觉得我和他的观点会,会有点像,呃,他的观点是,呃,教学的核心就是去演,最好的办法,他认为最好比如说教数学的方法,比如说高中生的数学方法,就是去雇一些演员,虽然有些 Unethical,但是你就可以雇这个演员去挑起学生的学习动机,让他觉得,学这个东西是有意义的,有意思的,然后并且用适当的方法,对吧?这两个,都,都是很重要的,适当的方法以他可以接受的方式去理解,这个数学,那么我。其实非常认同,我小红书刚注册账号的时候,我职业填的就是演员,但是感觉可能小红书大数据不认可,然后就把我这个,这个给,给,给删了。呃,我,我就觉得。其实应该是能够存在一个人可以接受的方式,让他产生兴趣,然后逐渐的了解这个知识体系。而可能我们绝大部分的学校,绝大部分的课程都做不到这样的,比较高的标准。对吧?

,就比如说像数学的科普,大家都是看了 3Blue1Brown 的时候,大家才觉得哇,这个东西可以这么教,但。其实很多时候他,他在,他在放那个视频的时候,其实我,我会发现,我的想法就是他的讲法,但我们,我可能从来没有跟人表达过,对。你说一个好的老师在上课的时候应该是一个演员,他扮演的是什么角色?这个角色跟我们一般情况下老师的角色有什么区别?你可以举个例子吗?就是共情学生,让学生感觉到自己有参与感,然后感觉到自己能学会,然后感觉到自己想要,这个东西,但。其实这是有一定的欺骗性的,比如说我在,操作系统课上面,我会,比如说我有一天我会说,进程的地址空间是这样的,那我就问一个问题,我能不能?去修改进程的地址空间?然后完了,我就直接掏出一个游戏修改器,我就在课上开始打红警了,那同学们就觉得很,很有这个参与感,他会觉得,哦,原来,你学这个操作系统知识,还有这些用处。但。其实某种程度上,这是不 fair 的,因为我在这门课上给他引入了一个偏见,他会觉得可能操作系统是不是?

更,更好一点,实际上不完全是的,你在每一个领域里面都有那个最精彩的东西,只是可能他没有碰到这个合适的老师,使得他错过了。那个本该属于他,他可能最适合的领域,我可能是这样想的。那蒋老师,如果说是老师,好的老师是演员的话,绿导师是你演出来的?我觉得是,因为我有一次还和别的老师会聊起这件事,就是我。其实我分不清,我是,我是在演,还是在我,我真的是对这个东西有,某种的热情,因为更多的时候我,我,我已经可以一定程度上解构学生,可以知道,比如说学生在听到这个东西的时候,他会,可能会不太明白,他在这个时候会可能会需要再回去再看一下,当我能够掌控这个节奏的时候,我觉得我,我就是一个演员。所以在这个过程当中,您是创造了一个令学生非常感兴趣的角色,所以您的假想的观众是学生,还是您的假想的观众是社会,就是您的这个戏谑是用来吸引学生的,还是用来解构学术的某种严肃性?

我还是在吸引学生和讲授知识之间达到一个平衡吧,因为当我上这门课的时候,我的最终目的是把这门课的知识点,和一些可能的隐身,比如说他学会这个知识以后,可以做什么去教给学生,所以这是我设计课程的目的,那我每一节课都会围绕这样的一个,比如说从一个问题开始引入,然后会有些有趣的例子,这样,但。同时也会有很多技术的内容。你前面提到当一个演员的目的是为了,为了让学生共情,为了让学生知道哪些地方不懂,不是他的问题,或者说为了了解到学生在哪些地方会遇到什么困难,我知道在教学里面有一个概念叫做知识的诅咒,就是说当你真的非常懂一件事情的时候,其实你没有办法去想象那些没有懂这个知识的人,他究竟是哪里不懂,甚至你对于他的程度的估计也会产生偏差。比如说你会觉得他可能在一个比较深的地方才开始不理解,其实他可能在一开始就根本就不懂,你觉得你是怎么样去克服这种知识的诅咒的?你觉得任何一个人,或者说任何一个教师,要怎么样去克服这样的知识的诅咒,然后成为你口中的一个好的演员。去教教小学生,然后通常我觉得这可以通过把一个孩子从小带到大来大概来了解,这个知识的结构。

因为我觉得,我想过一件事,挺有趣的,我们上,我之前上计算机系统基础,面对可能刚学过编程,但是他第一次要做一个比较严肃的 Systems Project 的时候,我们都会说这个 Read The Friendly Manual。对吧?,当然这个 Friendly 是一个 half a word 的替代,对吧?,然后接下来下一个问题是,为什么 Friendly Manual 是 Friendly 的?大家可能没有想过这个问题,对吧?,反过来抛一个问题给大家,那为什么呢?就是。因为我们的 Manual 是一个非常密集的知识的集合体,它这是一个网络,然后它的每一句话都是对的,而每,他不愿意写任何一句多的废话,这就使得你在这个知识的 Dependency Network 上,只要有一个地方脱节了,你的理解就可能是错的,可能是错的,你,你读手册,你最后就可能得不到你那个预期的结果。所以为什么学生喜欢 Tutorial,学生喜欢 Tutorial 是。

因为 Tutorial 里面的知识是非常冗余的,他会把你知道不知道的都写进去,然后甚至同一个知识点,他也会在里面重复两次,确认一下说,哦,这个是这样的,我运行一下看到这个结果,我再运行一下是这个结果,他们是互相印证的。那这个时候学生在一个掌握的不是百分之一百的时候,就能更好的跟随 Tutorial,建立一个正确的,正确的概念。所以。其实本质上,我们当时就想,想过要做这样的一个工作,就,就做这件事,就把 Manual,今天。当然今天大语言模型可以这样做了,把 Manual 变成一个滑杆,然后这个滑杆可以往专家的那个位置拖,也可以往小白的位置拖,它可以为你定制一个手册。当然现在有大语言模型,这件事情就变得非常非常容易了,所以,所以我也是,也是我觉得,我对,比如说教学教师,感到有一定的悲观的,这样的原因。因为我们很有可能会在一个 Scaling Law 上,有一个更好的机制,使得我们可以碾压式的方式来共情学生,而不需要老师站在讲台上,对着一个平均学生来讲,这样的方式。

你之前从 2021 年开始的时候,就开始给南大开发新的操作系统课程,一直到现在可能已经六年了,你觉得这门课新在哪里?我从 2018 年开始建设的这门课程,新在哪里呢?我觉得,我有一个习惯,我每年都要上这门课的时候,我都会先假设,我们所有人,地球上的所有人,包括我自己,对这件事情理解都是错的,先把自己否定了,然后再从头想一遍,如果,我现在是一个操作系统的设计者,然后我现在要,可能要讲授这个方面的内容,因为我还是不能脱离大纲,那么我应该怎么讲。所以我每年都能整出一点新花样,然后。因为每一年我在上课的时候,我都会想,哎,我今年的时候,我们手边的工具变成什么了?对吧?,比如说去年的时候有 LLM,所以我的课件里面有好多这个 AI 生成的解释,然后我就告诉同学们说,你,你们可以在搞不明白的时候,可以让 AI 帮你,帮你解释一下,你可以做一个命令行工具,然后到,到今年的时候我就全部都是 Agent 来,来解决问题。

我们有大量 Agent 生成的 Demonstration,然后如果应该没有明年了,但是我现在还在做一个框架,可以更好的去,定制的生成这样课堂上面的这种小的组件。我可不可以理解为这个课堂上的小的组件的生成的框架,有点像 Percy Liang 在他的这个 LLM From Scratch 那门课里面,做的基于写 Python 的课件。诶,我非常喜欢,我还从他的这个 GitHub 里面收到了一些启发,但是不太一样,我的野心比他大。你刚刚说到可能不会有以后了,为什么你不教操作系统了吗?那这个广大网友的操作系统教育上哪补去?我确实不教操作系统了,然后我应该是在课上最后一节课的时候官宣过这个事,因为我下个学期会开一门叫,叫生成式软件工程,Generative Software Engineering,然后我会把精力放到这门课上,而且我会在做这门课的时候,会把我刚才说的那个有小组件的框架,给实现出来,因为我现在有一个学生,可以做这件事。

Insight

绿导师不再教《操作系统》,下一门课是什么?

  1. 绿导师不再教《操作系统》,下一门课是什么?

然后我希望的是让我的操作系统课以一个数字人的方式永生,然后我可以,我可以大概说一下这个想法,其实也挺简单的,比如说我上了一个课,所有的上课,就是授课型的,他的讲稿都是最主要的主线,所有的课程都是围绕他的讲授,知识点的讲授,一个线性的讲授来的,那么实际上我们是把像幻灯片,代码演示,视频,可视化交互这些,相对来说比较多模态的东西去对齐到讲述的时间轴上的。所以理论上说,我只要有一个足够好的 System,加上很多我烧很多的 Token,我就可以把我去年的讲稿拿过来,然后我可以 Patch 上今年它发生的变化,然后甚至是网友可以随便做出修改,然后我只要 Build 一遍,然后这个课程就重生了。所以我也是。因为看到了。这样的,就是,也许是未来的教学的方式,因为,因为这个方式很容易,我可以为每一个人 Personalize 他的课程。

打个比方,你就特别喜欢哪一个动漫角色,然后我就可以让,让这个动漫角色来给你讲这个课,而且课程里面会融入和动漫角色相关的内容,因为 Content as Code,所有东西都可以用 Code 来表示,大模型可以生成 Code,所以它可以生成任何东西。蒋老师,从您的这个表述当中,我发现了一个矛盾,就是你的推理是,你需要一个有冗余的环境,所以 LLM 更适合做这件事情,所以你导出了。以后,教师有可能不复存在的这么一个结论,但是我们看到的是第一,你是最受欢迎老师,第二,你的课程特别受欢迎,第三,你自己对于如何教授有独特的心得,这不是反着的。我感觉你非常适合当老师,而且以后我们需要更多像你这样的会教课的老师,我觉得 LLM 很难传,传授 Passion 啊,Test 啊。这种东西。和你的感觉相反,我觉得这些反而是一些比较容易的控制的技巧,而模型。其实挺擅长这一点的。因为无非就是一些小伎俩嘛,要么就是玩了个梗,要么就是结合实事来评价一下,要么就是做一个同学们很容易接受的可视化,或者找一个他们生活中的例子。

然后所有的这些都是有 Small Explanation 的,你理论上说是可以通过枚举,就可以通过算力换智力,教课本身它没有超出人类已有知识的边界,所以它就是一个 A 加 B 加 C 做这件事的过程,在一个封闭的世界里,它没有这种科研上面的这种,可能天马行空的创新,在我看来,就我所有做的创新都是在一个非常规整的流程里面完成的。我相信 AI 替代掉,只是可能现在,比较好的老师。还比较少,对。你在开发操作系统课的时候,做了一个违背祖宗的决定,这个决定是你在 2025 年写的实名举报信里面提到的,你说你把操作系统的内核的部分,从教学中去掉了,为什么说这是一个违背祖宗的决定?因为所有的操作系统的教材,当然我觉得我选的那个 Ramsey 的那个教材不完全是,都是在讲操作系统内核,我从我自己学操作系统开始,然后我就发现这个学习路径可能是有一些,有一些问题的。因为百分之九十九点五的学生,可能不需要在本科毕业以后去碰操作系统内核,所以我们为什么一定要教他呢?我反复问这个问题,是不是?里面有一些很重要的思想,一定要教给学生。

然后我反复想过以后发现,其实并不是这样的,我完全可以把里面那些重要的东西搬到用户态,让学生去理解问题是什么,解决这个问题,那他能在用户态解决这个问题,下一次他自己实现自己操作系统内核的时候,也可以让 Agent 在操作系统内核里面解决这个问题。所以我只需要把我要讲的东西挪出来,那我自然而然就可以不需要讲任何很多细碎的,因为他开始理解内核的时候,他首先要知道硬件是怎么工作的,然后一些,就是当我调代码的时候,我很难在一个很好的抽象层上,让他既能明白 OK,我们。其实是在真正的硬件上,然后又能够屏蔽掉那些复杂的底层细节,而这些细节可能对学生来说又确,确实不是必要的。然后当我想通这点以后,我又找 IPADS 他们那个教操作系统非常资深的老师去讨论这件事,然后我们讨论的结论就是可以试一试,那我就说我要试一试。你觉得你在教学改革上面做的一些其他的动作也是违背祖宗的吗?比方说你提到你去减少了南大培养方案的必修学分数量,比如说你提到了。你减少了离散数学课程覆盖的内容,比方说你接下来要新开的这门生成式软件工程的课程,你觉得这些也是违背祖宗的决定吗?

我觉得不太违背祖宗,它有点出格,但是从时代的角度来讲,可能是比较重要的,因为为什么要减学分呢?是。因为上课,大家都知道上课耽误学习嘛,所以当减了学分以后,学生才有可能有更多的课余时间来学习。初衷是好的,但是最终能不能?收敛到一个更好的结果我不知道,但这是我唯一能做的事情。那那你可以谈谈这门新课吗?生成式软件工程,你觉得这门课要教什么东西?然后又要让大家掌握什么技巧?因为我知道斯坦福好像在 2025 年开了一门课叫做 The Modern Software Developer,它里面讲的内容就是学生在这门课里面不能用手写代码,所有的事情都要用 Coding Agent 来做。完全是一样的,我可以理解成是一个高配版的 Modern Software Developer。我大概会设想这样,我会从让他们实现一个 Personal Assistant 开始,就有点像一个小的 Agent,然后能够处理邮件,比如说我 Evaluate 它的方式就是我有一个 Agent,然后我可以给他发邮件,然后我可以评估他是不是?

有一个足够大的 Memory,可以记住我给他的一个很大的数据库,然后以及多轮对话,它会不会?,会崩掉,一个一开始一个比较小的系统,它可能还比较容易 vibe code 的,然后我会以一个非常坑的方式,不断的在这个系统上面加入新的内容,比如说我第二个 Lab 可能会让他能够处理一个几百篇论文的 Proceedings,那它一个 sequential 的流程,它可能就马上它就不响应这邮件了,对吧?,然后这系统就崩掉了,它必须要改变这个系统的架构,然后再等到后面的时候,我会不断的在这个系统上,它从一个最小的 Personal Assistant 开始去加很多很多的功能,直到每一次的时候都是在软件工程意义上它会 fail。就他如果直接让 AI to Y 了的话,AI,你知道这个 CODEX 和 Claude 都很喜欢过度设计,然后最终陷入一个无意义的泥潭当中,然后尤其是当需求增。

最后一个以后,一个他想,未曾想过还还要做这个的时候,对吧?,我接入一个硬件的时候,然后他接口设计的不够好。然后在这个过程中同学们会体会,怎么样把这个软件给拆开,然后怎么样做这个 CI 和 CD,然后怎么做好软件的测试,测试算是我老本行了,就这样的这些软件工程里面的概念,就这样放进来,在一个比较大的 Project 里面,对,一个跟一个学期。可能是我现在的设想,但是没有完全定下来。好的,我替我们听众里面,蒋老师的长期观众问一下,这个课程会放到网上吗?会的,而且我现在的计划是,我可能不直播,但是我会把课程的录音转写下来,然后这样我就得到了一个讲稿,对吧?,然后我会把这个讲稿修缮,修缮完了。以后,以一个更完整和更高标准的形态给释放出来。因为我觉得比如说我像一个星期要上两次操作系统课,我备课的压力是非常大的,非常非常大。所以,其实课程的质量在有些地方是失控的,比如说如果我前一天出差了,然后出差回来,我第二天要上课的时候,我可能会东拼西凑一些内容,失控。

但是我下学期,因为我一周只有一次课,而且我有这样的一个 Infrastructure 了,所以应该能够试一试看,是不是?可以得到一个更好的课程。你觉得你的这个 Infrastructure,是 Agentic AI 时代的,像 Three Blue One Brown 的 Manim 一样的东西。我不确定,因为我没有什么野心,但是也许它就火了呢,对吧?,我有一个规划,那也取决于我的学生能把它做到什么程度。你觉得这门课是在教大家软工,还是在教大家 AI?我觉得是软工为主,但是大家会知道 AI 可以做什么,因为本质上我也会,因为它一开始就会做一个 Assistant 嘛,它就是一个有点像 Agent 的东西,所以他也会体会到,就我不会讲模型是怎么 serve 的,但我可能最后一个实验,我会说说你需要在你的本地去 serve 你的这个 Agent。然后这同学马上就傻了,这个对吧?

,这个 lab 难度可能比较大,但是他依然可以用大模型去实现代码,所以在这个过程当中,他会知道很多和大模型相关的概念,但我还是想说,这是一门软件工程课,让他体会驾驭软件复杂性的过程。

我的理解是,在 Coding Agent 的年代,软件工程很多的最佳实践,其实是在发生变化的,比如说在 Coding Agent 出现之前,大家写代码是很需要时间的,但是在 Coding Agent 出现之后,写代码需要的时间大幅减少了,你其实可以写出非常非常巨量的代码。所以这就让验证代码的正确性这件事情,变得越发重要了。所以我可以理解为,你在这门课里面想要教大家的是,Coding Agent 年代或者说 AI 年代的软工的 Best Practice 吗?正确。这就有一个接下来的问题了,Agent 的能力其实是在不断变化的,可能几个月它就变化一次,几个月前你的一些 Best Practice,可能是为了针对当时它的一些能力上的缺陷,或者说它能力上的局限性的。但是几个月之后这个局限性消失了,那你这个 Best Practice 也就过时了。你觉得作为一门一年或者说一学期上一次的课程,你要怎么样应对这种变化?这是一个非常非常好的问题,可以说没有人能够真正的拥抱这样的变化。

那我只能说的是,我们所有的东西都是有原因和道理的,那么我希望的是我能够展现的是,为什么 Fail 了,如果它是以这种方式 Fail,我们应该怎么样把它补救,或者我们可以做怎样的设计,使得这个 Failure 在一开始就不会发生。那么可能比如说前提没有了,AI Agent 不会发生这样的 Failure 了,那这个 Module 就显得不是那么有意义了。但是他依然会理解一个 First Principle,就是我的模型是有能力的,然后我们要用好这个能力,然后围绕这个能力去设计各种各样的工具,然后设计各种各样的准则,然后最终把一个软件给做出来。因为我觉得关于软件的知识,比如说我会说上课时候会说什么是软件,软件是物理世界过程在信息世界的投影,然后这是一个有损的投影,你永远不可能用一句话来造出一个满足你心意的软件,因为你就是没有把事情给说清楚,然后这样的这个重要的基本原理,可能是我们觉得需要教给同学们的。然后至于 Agent 长进了,可能有些 Hack 就不需要了,那也挺好的,对。

你觉得经过这门课之后,你的学生可以达到,Cloudcoder 重写 Bun,用 Rust 重写这样的一个水平吗?他们可以做出这样一件事情。Cloudcoder 重写 Bun 有一个非常重要的前提,就是他们花了很多的时间,写了那个 Rust 的 Best Practice,你在迁移以后,那个 Rust 要长什么样。但这其实是需要非常多对 Rust 本身的经验的。那么这件事情我觉得在在地球上能做好的人也不多,甚至我觉得现在的这个迁移,我们还等着看笑话,会不会有笑话也不知道。你觉得有吗?你觉得会有笑话吗?如果一定要说一个的话,我觉得会有。我觉得质量是失控的,以我对 Cloud 的智力的估计,还是会有很多很多麻烦的事情要收尾的,对。OK,那我们敬请期待。

我想一个我们一直在注意到的事情就是,你对于教学是非常非常重视的,虽然你没有评上最重视教学的这个人才计划的答辩,但是你在这个 OS 四大顶会上,发表了大陆唯一的教学论文,包括你花了非常多的精力在开发新的课程,在让课程不断的与时俱进,包括你为了。这个课程,专门开发了一套,更 Agentic 的,更方便学生操作和实践的 Infrastructure。你为什么愿意在教学上面,花费这么多时间呢?你觉得你更是一个教师,还是更是一个科研人员?好问题,我觉得我才是一个真正的 Reward Hacker,我这样解释它,我为什么会觉得愿意做教学这件事,是。因为我每当在教课的时候,我说我每年都会去否定一下这个地球上的所有的人,那当我否定的是一个非常成熟的领域的时候,那我往往得到的是最重要的问题和最有新意的东西。

所以当你谈 Research 的时候,如果你是想说,好,我有一个 State-of-the-art,然后我希望去把这个 State-of-the-art 往前做一点,那你很有可能,比如说你要做一个 Analysis,那你就是 System 里面那几板斧嘛,你先去 Profile 对吧?,Profile 然后你做各种维度的 Trace Analysis 然后去。它会遵循一个比较标准的范式。但是当你去思考这个,比如说操作系统领域的时候,你去问,对吧?,我能不能?做一个违背祖宗的决定的时候,对吧?,我能不能?把这个 Linux Kernel 一个可能几十 MB 的状态就给可视化到一个极小的程度的时候,其实你在那个时候会从 First Principles 思考去得到,可能更有价值的研究问题。所以本质上我觉得我才是一个真正的 Reward Hacker,我可以看到更远的 Reward。

对吧?,然后我可以说,我在这里面我可以做一个更好的工作,然后大家会认可我,因为我做一个更好的工作,它可能现在 Publish 比较困难,但是有一天可能能证明它的价值,那我不就得到更大的 Reward 了吗?对吧?,我可能是。因为我对自己的能力有自信,所以我选择可以追求一个更有长久的 Reward。所以可以说你在追求的是一种长期主义的教学相长,通过否定自己。然后不断的更新自己,包括更新自己的课程的方式,来追求更远大的研究理想。这么说对吗?我觉得可以是这样的,然后我自己的一个理解是,对人类来说,利他就是终极的利己,就每一个人都是利己主义者,然后只是你取决于你能够看到,你有多少时间的内的 Reward,对吧?,如果你总是要一个立即能够得到 Reward,你可能只能去做一些短线的事情。但是如果你能放到这个人类这个历史的进程上,那也许你就可以做出,对吧?,当然这个需要很大的运气,你可能就至少概率会大一点,你可以做出一个更有 Impact 的东西。你刚刚提到说追求长期主义的 Reward,追求终极 Reward,会导致目前论文容易被拒。

你前面也提到了,最近有两篇论文被拒了,而且有一篇论文被拒的得分,还是非常具有争议性的得分,其中有一个人打分特别低,其他的人打分都很高。然后你也提到这些论文,可能它会有一些突破性的改变,因为它甚至都找不到一个 Baseline 去做比较。我们很好奇,你这两篇论文是做什么的?你可以透露一些吗?呃我们短期内 arXiv 见吧,这个讲起来就比较长了。但有一个是和,我还是可以透露一下,就是主要是讲起来比较长。有一个是你们没有想过的,我可以去 Reverse Engineer 一个 Excel 这样的软件,然后去得到你这辈子都没有想过它会把你的数据做这样的处理。然后我们几乎得到了它所有已知的这个,当然是在一个 Scope 里面已知的这样的规则,但没有人做过这件事,然后我们发现了非常非常多很有意思的事情。

就比如说你有的时候,你不小心有一个 Typo,你就会在 Excel 里面有一个一百年的时间差,然后这一百年的时间差就会导致你可能,如果是一个算利息或者算什么的财务的报表的话,你的这个整个结果就全部 Collapse 嘛,就因为你的一个 Typo,或者是你从别的地方粘贴了一个数据这样的。然后还有一个就是自然语言编程,就是我们怎么样做自然语言和编程语言的混合编程,这也是个很大的题目,对,但是这个不好 Evaluate,因为我们说我们,就我们做任何事情都没有一个 Baseline 可以比。你可以确定就是你投稿,是因为你东西太新了,没有 Baseline,然后而不是因为审稿人可能是 AI,或者是审稿人几乎都没有精力去读你的文章。啊 no,我觉得审稿人还是好好读文章了。我想具体请教一下,就是这两篇文章,是投到哪个领域的?PL 和操作系统。PL 和操作系统,对吗?嗯,没有软工。啊,这个彻底跟软工学术界割席了。因为我理解,尤其是 PL 圈啊,我觉得很多 PL 圈的人他们的想法会比较保守一点,或者说他们会觉得,我会非常要求你这个理论上的严谨性。

Insight

《老登三篇》和审稿江湖:学术会议里到底有多少论文是在包装 contribution?

  1. 《老登三篇》和审稿江湖:学术会议里到底有多少论文是在包装 contribution?

你觉得这一点会影响你文章的身高吗?当然会啦。说到这个审稿的机制,我们看到其实你最近写了三篇攻击老登的文章,我们亲切地把它称为“登三篇”。其中有一篇就是在讲审稿的过程中出现的一个问题,你发现一个人的论文里面存在误导性的数据,然后去讨论这个审稿机制,或者说这样的指导机制究竟是不是合理。你觉得现在审稿机制出现了什么问题呢?这似乎不是一个审稿机制的问题,因为我们没有办法拒绝任何投稿。你有一个高中生可能完全不知道的情况下,他写了一篇可能完全 Out of Scope 的文章,也不在这个水准上,但我们依然要 Review 它,依然要给它一个 Comment,似乎不是审稿的问题,更多可能是因为这很明显是一个来自高校的工作,所以可能我只是觉得我作为一个审稿人,他可以不要投对吧。那你觉得这样子的质量不达标的稿件,可以用 AI 审稿来先 Desk Reject 一批吗?我觉得可能不行,因为大家很容易去攻击这个 AI 审稿人的。

我觉得应该这么说,这个投稿人毫无疑问是有写软件工程录用论文的经验的,所以 somehow 应该是他一定是把这个东西包装成一个看起来贡献达标的东西的。那如果让 AI 来看看到的话,它确实可以把那些,比如说高中生写了一个完全不对的论文给 Reject 了。但可能也许我们也可以用 AI 来 Reject 它,因为我看一眼我就知道这个 Paper 是不应该出现在 Proceeding 里面,我可以礼貌的告诉他这个事情不合适。但是就是对于这种 Borderline 上面的,他可能要刻意的藏一些东西,来夸大自己 Contribution 的东西,其实我觉得这样的 Paper 是无处不在的。可以说多到了一定的程度,使得有些会议所谓的顶会的 Proceeding,你都不想去看,你只想去看那些在 Twitter 上被人转发的 Paper,这个是有害的我觉得。就是你明知你的这个东西会被 Scaling Law 的车轮给压掉,你依然要选择去声称自己的 Contribution,并且一遍一遍一遍的投稿,直到它有一次不小心可能几个审稿人就把它放过了去 Accept 为止。

我觉得这是现在可能大家为了生存,就为学生要毕业,老师要有论文,然后为了论文去拿到论文以后去撬动更多的 Funding,他所被迫做的逼良为娼的这样的事情。所以我一直在跟学院说说毕业不要发表的论文,毕业不要发表的论文,但是这件事情好像对我来说是不可能成功。你刚刚说大家很多人会为了发论文而发论文,明明知道自己的贡献其实不大,或者说明明知道自己的贡献随着 Scaling Law 的发展,未来都会被代替。但是他们还是选择发论文,因为这个东西关系到他们的毕业,这个东西关系到他们的职称,这个东西关系到他们的经费。你说这种行为是一种逼良为娼的行为,你觉得现在学术会议里面有多少是良,多少是娼?这个打击面就大了,我不知道软工,就它很难界定。

我。其实接受一个相对来说比较 Incremental 但是比较完整的 Paper,作为学生来练手,因为学生总有第一篇文章,你总是对吧?,本科毕业以后你可能代码写的不错,你做的第一篇文章可能不是那么的好,那么厉害,但是它符合一个标准的规范,有一个合理的动机,有一个这个合理的解决方案,并且有一些 Positive 的结果,我。其实是接受这样的 Incremental 的 Paper 的。然后我觉得我很难接受的就是,他通过写作的技巧去把各种东西给藏起来,使得不明白的 Reviewer 会看起来还可以,然后把它放过去,然后这样的论文可能。比较难界定,就是一篇文章到底是。因为这样的,还是。因为它可能本身就是一个学生的工作,然后他对。所以我不确定这个比例能有多少。但是你评论的这些现象,在 AI 出现之前是没有的吗?我评论的这个现象在 AI 出现前就有了,大概从 CCF 列表,就那个 ABC 类的列表发布以后就有了。

然后。所以这是指挥棒带来的一个效应,因为一旦大家认识到了,你发 CCF A 类就是好的,B 类就是不那么好的,C 类就是更不好一点的,那么所有的人他只要有一点机会,哪怕他认为没有机会的东西,他也一定会从 CCF A 类开始投起。所以这就感觉到,我就觉得我经常会审到一些这个我觉得比较尴尬的论文,有些可能就是我觉得学生可能学生本身做出一个 Low Quality 的东西,学生是没有错的,但是导师有责任,你这个东西该不该投这里对吧。然后。因为我听到很多很多老师都会说,唉呀。我知道这个文章一定会被拒的,我也就是去审稿人拿拿意见,这个合理合法对吧?,这个没有人阻止做这件事。但老师都知道这个一定会被 Reject 的,你为什么你不先把它改进到一个你觉得还是还是不错的东西呢,对吧。所以你的这波评论。其实和 AI 的这股风潮可能是没有关系的,你不觉得是 AI 的盛起导致了 Review System 被 Hack 了,而是它本来早就已经被 Hack 了。正确。

说到这个我想请教一下,这个主持人中做 AI 研究的几位,你们觉得在 AI 的会议里面,这个大水漫灌的事情,比软工是严重呢,还是不严重呢?怎么不说话?我觉得是严重的,应该是更严重的。你觉得为什么会这样?就是,我觉得 AI 的研究本质上是在讲一个 Story,可能是我对软工的研究没有那么的了解,所以我会觉得你在做 AI 研究的时候,你只要会讲这个 Story,你就有很多种可以去拼凑这个 Story 的不同 Pieces 的方法。蒋老师你觉得软工是这样吗?软工也有很多这样比较标准的流程,就是 A 加 B 可以是 C,然后他可以选一些,因为你总有一些比较特别的一类软件,对吧,这类软件可能大家没有很多人 Care about,然后我可以把某一个东西 apply 到这里来,然后就可以让这里面的某一个任务变得更好。然后你我当然觉得这个可能不是那么糟糕了,就是它可能是一个合格的工作,但是它有很大的被 Reject 的风险。因为比如说你会问这个问题是不是没有人 Care about,然后各种各样的质疑。

但是我们为了生存,使得大量的人都开始生产这样的论文,可能这个现象跟 AI 是一样的。因为本科生一定要想办法发一篇 AI 顶会,然后去申请下一程的这个学位,对吧。然后研究生需要一篇这样的文章来毕业,因为他老师是这个领域的。所以最后就逼着大家就是在疯狂的,尤其是我们的研究生的数量不断的在扩大,这还是一个这是一个对吧,这也是一个很重要的因素。研究生的数量在扩大,每个研究生都要发更多的论文才能毕业,那最后就导致这个必然的结果了。不过在这我也想补充一个观点,就是我觉得我在读博的时候很长的时间会觉得,就比如说某一个领域的很多研究可能都没有什么用,然后大家都在用各自的方法去,就是用不。

on the baseline,做不同的,就是 evaluation benchmark,然后做不同的方法,就好像,但是我后来的时候,就是我现在会有的观点是,我会觉得,嗯,这样的研究,本质上,就是我觉得一个好的研究本质上是一个黑天鹅事件。就是也许我们看起来在做很多很多像看起来有些在灌水的工作,但,但当你,我不能说是灌水多了,但是,当你做这样的研究多了,我觉得这个里面它就会产生一些高质量的东西。就不管是你真的在很认真的思考做出来的,还是说误打误撞的做到了这样一件事情。我觉得我现在很难把 reward hacking 和很多研究,它可能就是低质量的,或者是没有用的这件事情给它区分得很好。但我会觉得可能就是有一点像水至清而无鱼,就是可能要有这样一个现象,或者说要有这样的一些基础,才会诞生那些像黑天鹅事件一样的高质量的研究。我不知道你们会怎么看待这件事情?这件事似乎在,PI Systems PR 的领域是不会发生的。因为,它,因为 AI 一个,我觉得 AI 的研究有一点有趣的地方是我们对机制可解释性这些都完全不了解。

对吧,我记得当时我看到那个 neil nada,他那个说哎,我我我去我去训一个单层 transformer,我可以学到一个 Fourier basis,然后就很 fancy。然后就地球上啊,这都没有没有见过,就我我你们面对的是一个完全不可控的,但它scale了,然后它就有用了。然后你,你都不知道你把那个 activation 换成什么,就瞬间它就厉害了,然后这时候会有这种黑天鹅事件。但因为像 Software Systems 基本都是完全人造的系统,在完全人造系统里面,是人的人已经主导了一切了,那这个时候,它和我什么样东西能训出一个更好的模型不太一样。它,它里面有很深的系统的智慧,就是就是你完全可以看到一篇文章,他做这个 A+B+C,一个有真正有经验的人,甚至是一个 GPT 5.6,他马上就能知道这个东西的上限在哪里,缺点在哪里,能做到什么不能做到什么。你不写这篇 paper,我也知道。蒋老师,您刚才提到说您在倡导不发 paper 也可以毕业,那怎么能够判断这个学生是合格可以毕业的?好问题,这个就是给你用人单位的难度增加了。

你还是,我我坚持还是问这件事,你你觉得你做的那个最值得一说的事情是什么?对吧,你,然后如果你是 Computer Science 的话,你还可以说你你拿一个系统出来,对吧,你做的那个 system 出来我看看。但是今天就是我想了一下我们聊过的这些话题,就是,您对于现有的体制 reward hacking 有某种愤怒。但是我觉得愤怒背后好像有一点点失望,就是您能够说一下,比如说您的网上的言论也好,在课堂上的言论也好,您最失望的是这个系统,是 reward hacking,还是目前大家所做的这些东西是无用功?就是有没有一两件事情让您感觉到特别的失望或者愤怒?我觉得特别愤怒,就是我说我的那个启蒙老师,杰青四次上会都没评上,我不知道别人是怎么,怎么评上的,对。然后这个世界显然已经一定程度上 collapse 了,但它还在运转,而且其实运转的也还不错。也许我们到另外一个方式上系统是运转不起来的,至少我们现在这个系统还能运转,所以我也不能不能说什么。但好消息是,反正我现在也没被开除,这位老师也没被开除,所以至少我们还在做正常的事情,这个系统还不错。

也许这种增量式的小改变就能达到一个完美的平衡,也是有可能的。所以我没有办法评论,但是我觉得如果我攻击攻击老登,然后确实可以使这个我们的整体科研水平能够好一点的话,或者说有更多的老师或者学生能够打打脸,他就觉醒了,我觉得应该是好事,而且没有明显的伤害。那是不是您会成为老登呢?好问题,我一直在警惕这件事,然后我觉得如果有一天我觉得我学东西学不动了的时候,我就会把我所有的权力交出来,然后我没有权力的时候,我也不发表我的观点了,那我就可以透明了,透明我就不是老登了。对吧,我就是透明人,我不存在了,我就不是老登了。你觉得你嘴里面的那些老登,现在会觉得自己学东西学不动了吗?他们根本就不学。你在互联网上攻击老登这件事情的目的,是像你刚才说的那样希望能够改善这个环境吗?是啊,我能打醒几个人就是几个人,虽然就如果我不打的话,他们一定是不会醒的。但如果我打了以后,他们可能还会有一些人,或者有一些其他人,他醒了,那我觉得就对社会做出一些正向的贡献。那你这样子在互联网上锐评,你不怕混不下去吗?

比方说你在副教授实名举报计算机专业学生编程能力不如小学生,这篇文章的结尾写道,发了这个举报帖就断了我飞黄腾达的路了,你觉得你现在是已经这个不在乎了吗?啊,我完全不在乎了,我这命都不要了。我们看到你在互联网上发表这些锐评的时候,其实你一直在用的一个关键词是退,对吧。你在小红书上说你决定在人生的巅峰退休了,你在小红书上说你已经退出软工圈了,你在主页上说你退出软件所了,你在小红书上说你已经退出了技术委员会了。然后你又在知乎上说你退出考研出题了,然后你又在给天命名人的劝退信里面劝退学生,你觉得这种退是一种出世吗?或者说你觉得这种退是一种对于现状的失望吗?还是说这个退,其实只是你用的一种修辞手法,你在用这个退的态度,来表达一种你对于希望,你对于改变的希望,或者说你是以退为进呢?退代表了这个世界上有一些必须要做的 trade off,就是你只有舍弃掉一些,你才能做一些应该是更重要的事,所以我觉得以退为进是正确的。所以你的建议是什么?AGI 要来了,我们不知道应该做什么,但是应该做点什么。你在网上的形象和你在现实生活中的形象,你觉得是一样的还是不一样的呢?

Insight

一路在“退”:退休、退圈、退所、退委员会、退考研出题,是失望,还是以退为进?

  1. 一路在“退”:退休、退圈、退所、退委员会、退考研出题,是失望,还是以退为进?

因为我们在网上看到你的形象是一个非常激进的,甚至有点愤青的感觉的形象,然后你会宣扬 AGI 的到来,你会觉得我们每个人都要思考,在 AGI 到来的时候,人类的价值是什么。你会抨击学术界的一些你觉得不好的现象,你在现实生活中是一个这样子的人吗?你觉得你的学生,如果我们今天把他请过来接受采访,他会问你的问题,跟我们问你的问题是同一批问题吗?他会觉得你在作为一个导师的形象,和你在作为一个互联网绿导师的形象是一个同样的形象吗?我应该是 consistent 的,但我额外会对学生好一点,我觉得。就是。因为毕竟是自己的学生,所以我还有一个是对抗审稿人的职责,所以我还是会 package 他们的,paper 这个还是不一样的,每个导师都会做做这些事,或者说这是导师的职责。然后在现实中,其实我非常的 consistent,比如说还有更多事情,就你们在网上没有看到过的,比如说去年在保研,他们有一轮简历筛选的时候,发现他们的机制问题很大,然后回头我骂完那个副院长,然后我就把他拉黑了,就是 physically 微信。

最后发了一个很长的帖子,然后发完以后就把他删除好友,然后他肯定会回我,然后回我以后,他发现那个已经不是联系人,然后到现在这个好友还没有加回来。对,就我觉得有些事情,我如果不说的话就没有人说了,那我还是说吧,反正大家也都知道,我就是这样了。你会担心自己被学校开除吗?开了就开了呗。开了去做什么?不知道,也许天天钓钓鱼也挺好。开了你的学生怎么办?那我还是可以指导他们,让他们毕业的,这个好像还是可以的。那开了你的实现 AGI 的梦想怎么办?我一直觉得很多事情是注定的,就比如说在爱因斯坦要发现相对论,然后 AlphaGo 要打败李世石,再往前,或者 Google 要能存下互联网,所以这些一切都是某种程度上由 Scaling Law 命中注定的。就是当我们的世界的积累到一定程度的时候,我很喜欢上课讲这个故事,有一个 plot 就说随着你的时间,你的存储设备的增长的速度,那个速率的曲线和你的互联网上面所有的内容增长的那个速率,如果画在一张图上,你会发现它们是有个交点的。

也就说存储的那个摩尔定律是比互联网人类产生 content 的速率要快的,所以有一天你的机器一个集群也好,能够存下整个互联网,就是一定会发生的事情。所以如果它不是 Google 的话,也一定有一天会有另外一个人会做同样的事情。然后某种程度上是你的土壤有了以后,那件事情发生就是必然的。我看到了很多东西,但是绝大部分是我没有那个能力,也没有那个资源去做的,所以我就会很开心的看它们发生。因为我最早意识到 AGI,就是说这 intelligence 可以自动化,是 2015 年的时候,就是在看 AlphaGo 和李世石,熬夜那时候人在美国,熬夜看那个直播,他们俩的直播。然后当时我就想通了一件事情,就是 intelligence 本质上就是一个 Tree Search,可以通过 Tree Search 来实现。

当然这是 DeepMind 的 Roadmap,然后用 Tree Search,然后又这 AlphaProof 这些线,然后还有就是 OpenAI 的这个就 Test Time Scaling,全部用 Auto Regressive 来实现的一条路线,现在看是这条路路赢了。在那个时候我就隐约看到这件事情要发生了,然后我一直跟别人宣扬说,说数学,你们数学你们不要,你们这些做数学的人,不要把自己看得太牛逼,马上这个 IMO 就要被攻破了,他们没有一个人相信我,然后现在这个事情就应验了。你从 2015 年开始觉得 intelligence 一定会实现,那你那个时候全仓英伟达了吗?没有,因为我没有美股账号,注销了我的所有的美国的账号,我现在至今都非常后悔,我至少应该把银行卡和电话留着。笑话先不谈,如果这件事情是时代大潮,如果这件事情功成不必在我,或者说功成不必在你,那你现在追求它的目的是什么呢?just for fun。

对我来说我是一个。好奇心驱动的人,我做所有的事情都还是有一个原始的好奇心的动机,而这个好奇心的动机和人类这个物种能够存续下去是有关联的,所以我就这样解释,我就很开心了。那你觉得在 AI 能够代替人类绝大部分工作,甚至代替人类绝大部分的创意工作的时候,人类剩下的价值是什么?是好奇心吗?我不知道,我觉得我会选择那个让按那个让我快乐的按钮,然后一直按一直按的那个人,卸下一切的包袱,在虚空当中。所以你会觉得我们应该尽早的把自己包装成一个 AI 大人的小宠物,让它把我们快乐的养在一个容器里面。这倒也不是,因为我们的时间是有限的,我们不知道那一刻什么时候来,而且我们很有可能等不到那一天会到来。所以这个社会依然会按照社会的方式运转,那我们就在社会上好好活着,我们有的吃有的穿,现代社会,你生在 1000 年以前,那你无论怎么样你都会活得很糟糕,但你生在现在你就觉得你活得不错,所以可以享受现在的生活。在未来的三到五年之内,有没有?您特别好奇的某种变化,或者说您希望听众们关注的某种趋势,就是对于 AI 的发展来说。

我想关注真正的 Auto Research 能不能实现,就是那个在 1900 年的 knowledge cutoff 的时候,能不能发现广义相对论,倒回去能不能在Galois 决战决斗的时候,能不能发现 Group Theory,对吧?再往前倒,我是乐观的,但是我不知道里面具体会以什么样的方式来实现,我很想看到它发生。OpenAI 的 GPT 5.6 SO Ultra 最近证明了 Cycle Double Cover Conjecture,大家认为这是组合学里面的一个非常重要的数学定理,你觉得这件事情算是你所谓的 Auto Research 发生了吗?在这条路上,但我觉得 GPT 的品味至少比如说在软件设计上,还是有一些它自己的偏执的,我不能说就是不对啊。但至少我可以看到的是,就前前两天的时候,陈立杰也发了一篇 Twitter,就说有一个很重要的定理,应该是那个 Farris Pair 之类的一个 quadratic 的 bound。

Insight

未来三到五年最值得关注的事:真正的 auto research 能不能发生?

  1. 未来三到五年最值得关注的事:真正的 auto research 能不能发生?

然后那个 bound 大概就是用一个 A+B applied 到 C 上的一个短的 prompt,就是一个,就是 GPT,就现在模型,auto regressive 的模型很有意思,它是一个很小的计算机,就是一个常量大的计算机。它每次只能根据 context 往后吐一个 token,但它可以调图,然后这个计算机训练完了,它就停在那了。但我可以通过给他这个 A+B=C 这样的初始的提示词,把他的潜力在发挥出来,然后这其实很接近我说的那个 Small Explanation 的框架,只是你现在还需要人来去找到这个它的影子。所以我觉得离 Auto Research 其实很近了。好的,谢谢蒋老师的回答,然后我还有一个比较好奇的问题,就是想问,就是在你之前写的文章,包括今天的访谈里,其实你一直谈到你是一个,就做事情是 for fun 的人。就是你会觉得,因为我对这个东西很感兴趣,我很喜欢,所以我才会去做。然后我比较好奇的就是,因为事实上在这个社会里,我觉得有很多人他可能没有那么喜欢一件事情,他更多时候是在 for profits,在做一件事情。

就比如说这个能让他得到工作,能让他可能在这个社会上生活得很好,然后在这个过程里,也会引发很多人,他可能会去做 reward hacking,然后能够更好地去 for profits。就我比较好奇,你对这三类人的看法是什么样的?就是你觉得这个社会,如果一个比较良性的社会里,应该怎么去分布这样的人的存在?我不知道,因为你也许是一个非常的 reward hacker,但是你的智力极高,那我觉得你依然应该在这个学校里面去创造那个最顶尖的东西,可能不是那么的重要吧。因为更重要的是,可能最顶尖的人要站在最顶尖的高度上设计这个机制,他能够把它看清楚,最好不要是非常平庸的人去设计这个机制,然后让这个机制变得更加糟糕。我记得我听过 Alan Kay 给过一个 talk,他就说说这个 institute 的使命是去寻找那些 5 Sigma 的人,就 3 Sigma 就是那个很厉害的人,5 Sigma 就是在那个尖尖,正态分布最尖尖上面的那个人。

如果你能找到 5 Sigma 的人,并且把他送到正确的,他适合的位置上,那无论他是一个 reward hacker,还是一个别的什么东西,他总是有 reward 的,所以他会把这件事情做好,然后这世界就进步了。我是一个论结果的人。那最后我想请蒋老师给我们听众,包括你在互联网上这么多的云学生一个建议,在现在 AI 这个年代,一个学生,一个 CS 的学生应该怎么做?我不确定这个建议合不合适,但我推荐每一个同学去看一下 CMU 那个 Randy Pausch 的,他得了癌症以后,他最后做了一个 Last Lecture。然后你会在那边得到一些灵感,会找到一些原始的动机,然后在这个动机之下,你可以选择给 AI 多一点信任,我觉得那是一个非常非常有启发性的视频,偶尔我还会再拿出来再看一遍。OK,非常感谢蒋炎岩的时间,我们本期 AI 实话实说就到这里,谢谢各位听众,谢谢大家。谢谢蒋老师。谢谢大家。

回到顶部