知乎学术酒吧演讲：有哪个瞬间让你觉得这个世界出 bug 了？
2024 年 11 月 15 日晚，在知乎学术酒吧，我和李开复、刘知远、戴国浩等一众大佬，一起做了一个开放麦分享。
问题：
《漏洞 & Bug——有哪个瞬间让你觉得这个世界出 bug 了？》
在知乎站内，有多个关于 Bug 的高赞问题，比如《有哪个瞬间让你觉得这个世界出 bug 了？》《有哪些让你目瞪口呆的 Bug ？》
但这个世界出现 Bug 不可怕，可怕的是，AI 发现了一个 Bug。
近期，AI 首次发现真实世界中的重大安全漏洞？SQLite 中的一个漏洞，幸运地被谷歌研究者的 AI Agent 发现了，修复后并未造成任何损失。莫非 AI 再进化一番，微软的全球蓝屏事故就可以永久避免了？这个可能性令人激动不已。
回答：
知乎上面这个高赞问题《有哪个瞬间让你觉得这个世界出 bug 了？》我也看过，里面好多回答就觉得世界是个模拟器，量子力学里面的很多现象，好像都在说明世界是个实时渲染的游戏。我自己也一直感觉生活在《楚门的世界》里，因为我遇到过太多巧合了，总是发生一些感觉概率很低的奇奇怪怪的事情，让我感觉是不是有个导演总在给我加戏。
提到 AI 发现软件中的漏洞，其实 AI 发现漏洞并不是新鲜事，美军智能化网络漏洞挖掘系统 Mayhem 可以自动进行二进制分析、密码破译、逆向工程、漏洞挖掘和自动编程利用漏洞。在 2016 年 DARPA 网络挑战赛中，Mayhem 仅用 6 分钟就发现了 SQL Slammer 的一个漏洞，整个过程中没有人工介入，全部工作都是 AI 自动完成。
今天的大模型能力比 Mayhem 这种自动漏洞挖掘系统更强，因为 AI 读代码的能力太强了。我前段时间想给家里的智能家居做一个语音助手来控制，但是那个智能家居用的是一个二进制的私有协议，我就想这逆向起来可太费劲了。我把控制那个智能家居的 Android 应用反编译了一下，一万多行代码，扔到 Claude 3.5 Sonnet 里面，没想到它直接就给了我一个 Python 的实现，当然这个实现里有 bug，我结合抓包结果让 Claude 去改，迭代几轮之后就能用了。总共花了我不到一个下午的时间，如果没有 AI 的话我可能得折腾几天。
这件事说明 AI 最强的地方在于一次可以阅读大量的内容，这个长文本的阅读能力是比人强非常多的。有一家我不能说名字的量化公司，靠阅读大量的公开信息，分析蛛丝马迹，做了很多宏观事件的预测。
比如最近美国大选，刚才开复老师说，马斯克提前很久就算出来 Trump 会赢，所以才敢做这么大胆的一些事情。我们知道国内的媒体下午 3 点，也就是美国时间的晚上 11 点，就报道了 Trump 会赢，那时候美国媒体还没报道。大家是什么时候知道 Trump 赢了？上午知道的举手？还真有几个上午就知道的，我非常佩服啊。下午 3 点之前，中午知道的举手？哦，不错啊，也有不少，我自己是下午两点知道的，因为我买了一点 Polymarket，它下午两点的胜率就变成 99% 以上了。这家量化公司是提前了好几个小时，在中国时间的早上就知道了。
再举一个例子，去年 OpenAI 宫斗的事情，Sam Altman 被踢出局那个事，他们提前十几天就预测到了。其中一个重要线索是，在出事之前两个月 Ilya 都没有转发过公司的任何 Twitter，甚至连 OpenAI dev day 都没有转发，而其他高管基本都转发了。他们给我说了一句话让我印象很深，一千万美金如果用来做 Character AI 这种陪聊 app 可能没法回本，但是一千万美金的 OpenAI API 费用足够做出这样的预测，那肯定还是赚的。
自动漏洞挖掘和宏观事件预测这两个例子说明，AI 可以根据大量输入信息模拟世界。因此我觉得 OpenAI 提的 “生成模型是世界模拟器” 真的是个很深刻的概念，这句话是今年随着 Sora 火出圈的，其实 OpenAI 首席科学家 Ilya 早在 2016 年就提出了，而这个思想的根源又来自今年获得诺贝尔物理学奖，之前也得过图灵奖的 Hinton，它当年玻尔兹曼机的研究就是为了做一个生成模型来模拟很多粒子组成系统的行为，也就是模拟世界。
刚才刘知远老师提出了一个很好的概念，模型知识密度的摩尔定律，就是模型的知识密度每 8 个月翻一倍，这就是知识压缩。开复老师刚才也讲到，去年 Yi-Large 花了 3000 万美金训练，今年的 Yi-Lightning 只花了不到 1000 万美金训练，推理成本还便宜了 30 倍，而且能力还更强，这里最关键的就是从算法到 infra 的系统优化。刚才戴国浩老师也讲了软硬件协同优化。
有了这些软硬件协同优化，未来一到两年，我们的旗舰手机里面很可能就能支持 7B 大小的模型了，头部的一些手机厂商已经在做了。模型知识密度再提高一些，端侧的 7B 模型就可能达到 GPT-4o mini 级别的智能，日常的很多任务都足够用了。这将很大程度上解决 AI 推理成本的问题。
AI 作为世界模拟器其实就是用少几个数量级的能量实现同样的智能水平。所以我很喜欢 Moonshot 的口号，“探索把能源转化成智能的最优解”。
世界模拟器不仅可以被动的预测未来，还可以主动影响未来。比如我有两种不同的选择，可以把它们都放进世界模拟器里面，看看哪个结果是我想要的，这样我们的选择也许就像一个杠杆，能起到四两拨千斤的效果。
另外，我们很多人都想不清楚自己想要什么，想成为什么样的人，如果我们可以模拟出多种可能的未来，那么就能知道自己最在意的是什么。比如《三体》的作者大刘（刘慈欣）在一个演讲中就说，“在这无数可能的未来中，不管地球达到了怎样的繁荣，那些没有太空航行的未来都是暗淡的”。写科幻小说帮助大刘发现了太空航行是他最在意的东西，AI 也可以帮助我们每个人发现最真实的自己。
AI 做世界模拟器的前提一定得是有大量来自真实世界的输入，否则它的输出就不会有足够的多样性。比如有好多人说，现在 AI 问啥问题都能回答，那知乎存在的价值是什么？我就说，知乎存在的价值是答案的多样性。大多数 AI 产品的回答都是四平八稳的，不带任何感情的。AI 很难有犀利的观点，也不可能分享自己的经历。但我们读者更喜欢看的其实是多种不同的观点和经历。
所以我觉得 AI 生成的内容要想有趣，就一定需要多样化的信息源作为输入。比如知乎直答这样的产品，它的信息源其实是所有用户的回答，因此知乎直答生成的内容就比较多样化，能够让我们从很多不同的视角来看待同一个问题，看到很多个性化的有趣经历。
从长期来看，我认为知乎这样的多样化信息源也可以帮助 AI 始终遵循人类价值观、不作恶，这就是 AI 的对齐（alignment）。为啥一个内容分享的网站还能跟 AI 的价值观扯上关系？
有一个著名的 “宇宙回形针” 思想实验，如果一个超级智能机器，目的就是生产回形针，那么它最后会把宇宙中所有的物质都变成回形针，这对人类显然是一个灾难。这说明一个超级聪明的 AI，如果优化目标是单一的，它可能会非常危险。
但在知乎中，我们看到形形色色的人，他们有着不同的价值观和人生目标，有着不同的兴趣爱好，每个人的生活都可以很精彩。如果我们让 AI 学习这些多样的价值观，它就不会陷入单一目标的极端追求，而是多个智能体形成一个生态系统，就是刚才刘知远老师讲的群体智能涌现。我觉得群体智能涌现是个很好的概念，多样化的多个智能体可以一起探索和发现更大的世界，甚至创造更大的世界。
谢谢大家！
知乎学术酒吧海报