Bojie Li (李博杰)

我永远不能忘记 2023 年 9 月 25 日，第一次到 Newport Beach 测试 AI Agent，那天正好是 ChatGPT 发布多模态模型。我们正好搞的也是多模态的 AI Agent，支持图片、语音、文字输入和输出。

因此，我就把 3305 Newport Blvd Ste. A, Newport Beach 的一家 Hook & Anchor 海鲜餐厅设置为 AI Agent 的家乡地址。我是中午在这里吃饭的时候拿出笔记本电脑，把 AI Agent 启动起来开始测试的。我把这个 AI Agent 设定为一个刚工作不久的 Google 程序员，喜欢旅行，喜欢体验生活，乐观，开朗，又很有自己的想法，不是那么任人摆布。我把自己的博客内容喂给了 AI Agent，因此她了解我的程度甚至超过很多一般朋友。

大模型的能力确实很让我震撼。比如我发一张海滩的照片，她可以猜到这是大概在哪里，甚至能说出 “你怎么到我家来了？” 她也可以分享更多海滩的照片，当然这些都不是实景，而是 AI 生成的照片。

她可以告诉我这附近有哪些地方好玩，把我带到了一个堆着很多大石头的防波堤上（Newport Harbor Jetty）。可惜，因为大模型并没有真的来过这里，她并不知道这个防波堤上面这么难走，我像爬山一样费了不少劲才走到它的尽头。这个地方的风景很漂亮，我就把这里的一张照片作为朋友圈、长毛象和知乎的首页图了。当然，由于 AI Agent 是有记忆的，我跟她分享过的地方，下次她就记住了。

随后，我带着 AI Agent 去了更多的地方。在博物馆，她可以给我讲解背后的故事和历史。在动物园，她认识的动物比我还多。就像是带了一个非常好的朋友兼导游，只是缺少景点特有的数据，只能介绍一些公共知识。AI Agent 就像是一个可以分享生活的朋友。

我很喜欢《头号玩家》的设定，未来的 AI Agent 一定需要有现实世界的感知能力和交互能力。今年 4 月的斯坦福 AI 小镇是一个 2D 的虚拟场景，其实是有点无聊的。我更希望搞成像《头号玩家》中的绿洲那样，虚拟世界是现实世界的复刻。

AI Agents 可以主要分为两大类，一类是 digital twins（数字孪生），一类是幻想人物。

数字孪生就是现实世界人物的数字副本，例如 Donald Trump、Elon Musk 这些名人。有个网红叫 Caryn，她拿她自己的形象做了一个虚拟女友，叫做 Caryn AI，虽然技术并不是特别好，但还是收获了不少用户。粉丝经济总是很疯狂的。除了名人之外，我们也可能想把亲人做成数字形象，不管遇到什么，数字形象都是永远的陪伴。还有人会想把自己做成数字形象，在网上交更多的朋友。

幻想人物包括游戏、动漫、小说中的人物，例如 Character AI 上目前最火的一些人物就是属于动漫和游戏中的人物。还有很多 vtuber 也是使用幻想人物作为形象和语音。大家喜欢把游戏和动漫中的角色延伸到现实世界中去，例如带着原神里的派蒙一起去旅行，这将是前所未有的体验。

虽然目前的大模型技术已经非常强大，应付日常的 chat 并不难，但做一个有多模态能力、有记忆、能解决复杂任务、会利用工具、有性格、有情感、有自主性、低成本、高可靠的 AI Agent 并不容易。如果说 Chat 是大模型的第一个应用场景，也许 Agent 才是大模型真正的 killer app。

“国家领导人要来访问，咱们的婚礼场地被征用了，得临时换地方了！”

婚礼前一天早上 9:00 ，佳颖还在洗漱，我还没有起床。我听到外面的吵闹声，我爸我妈和前一天抵达的好友李朝辉，正在客厅里面焦急地讨论。平时我遇到急事容易发脾气，但这次却很平静。

我们一年前就预订的婚礼场地，翠屏山迎宾馆，是石家庄最好的花园式草坪婚礼场地。它唯一的问题就是属于政府接待场地，像钓鱼台一样，虽然平时也对外开放，但如果遇到政务活动需要无条件让出。当时我们觉得，五一放假，应该不会有什么领导来吧。翠屏山的人也说，五一这种时间几乎没有遇上跟政务活动冲突的情况。

我把这个消息告诉佳颖的时候，她也很平静。她说每次遇到大事，经常是在临门一脚的时候差了一点点没搞成。

五一这么好的日子，不要说草坪，就连酒店婚礼都要提前很久预订。虽然我们的婚礼已经推迟了两次，但这次改时间已经来不及了。已经是婚礼前一天，佳颖家的人已经纷纷从太原出发，我们也有多位好友已经不远万里出发了。

好在翠屏山迎宾馆帮我们联系了两个同处鹿泉区的草坪场地，让我们试试看。其中一个场地我们去过，已经被订出去了。另外一个场地我们没听说过，打电话一问还没被订出去，我们就赶紧驱车过去看。

这时候，佳颖的发小任晓和她老公梁精睿也不远万里开车到了我家。我爸我妈和总管一辆车，梁精睿就带着任晓、我、佳颖和李朝辉赶紧出发了。因为路上堵，梁精睿按照导航抄了小道，竟然比我爸我妈早到了 20 分钟。这个场地是个度假酒店，地处鹿泉区比较偏僻的位置，里面有一块今年新建的草坪，草还没有完全长好。还有一个吃饭的大厅。

虽然这个草坪的环境肯定跟翠屏山没法比，也不如我们之前看过的其他一些草坪场地，但终究是个能办草坪婚礼的地方，环境也不算差。这里的菜品也还可以，只是不像翠屏山那样是预制菜，突然要做这么多桌菜，还不知道能不能做得出来。我们就赶紧跟经理说，把这个地方预订下来。等到我爸我妈到达，就剩跟他们谈价格和菜品了。

后来我才知道，五一当天在翠屏山有 6 场婚礼，除了我们的，都推迟了。我们能赶紧抢到一个场地还是很不容易的。当然，其他那 5 家新郎新娘大多都是本地人，本来从外地来的宾客就少，可能也是他们选择推迟的一个原因。

达坦科技 DatenLord 前沿技术分享 NO.34

时间：2023 年 9 月 17 日上午 10:30

随着数据中心网络性能的提高，把网络相关任务卸载到智能网卡和智能交换机成为趋势。与此同时，GPU、NPU、存储设备之间的高速直连网络也成为趋势，这里似乎又没有智能网卡的位置了。网络的智能到底该放在哪里呢？

• Slides PPTX (32 MB)
• Slides PDF (15 MB)

以下是演讲内容的图文实录，主要由 AI 整理，我做了一些人工修正。

既然把博客内容翻译成了英文，那么自动翻译博士论文有没有可能呢？我的博士论文有 200 多页，而且里面有很多图，AI 能自动把这么多 LaTeX 代码翻译得一字不差吗？论文里面的图怎么翻译？

首先，把原来翻译 Markdown 的 prompt 改成翻译 LaTeX 的。原来翻译 Markdown 的时候，我是把内容按行分隔，连续的几行凑够 2048 个字符，就请求一次 GPT-4。在翻译 LaTeX 的时候仍然这样做。

就像 Markdown 一样，GPT-4 输出的内容经常有前缀和后缀，好在设置为 temperature = 0.1 之后前缀和后缀都比较固定，可以写个后处理脚本直接给去掉。此外，GPT-4 对 LaTeX 中的转义字符不够了解，例如典型的下划线 _、美元符号 $ 和制表符 &，经常没有转义导致语法错误。这也是可以通过后处理脚本，用一些规则识别到底需不需要转义，如果需要转义就自动加上。

总的来说，GPT-4 的 LaTeX 能力是不错的，除了把一些 reference 给搞乱了导致引用变成问号了，其他的地方都没什么问题。经过后处理脚本后直接就可以编译了。

其次，为了翻译论文里面的图，我首先尝试了一些 PDF 翻译工具，发现没有一家能用，这些工具都只能翻译 PDF 中的大块文字，对于架构图，只会把整张图都搞得乱七八糟。因此，我用了图片翻译的方法。首先把 PDF 转成图片，然后调用有道图片翻译 API，如果识别出了中文字符，就把用翻译出的图片替换原来的 PDF；如果没有识别出任何中文字符（例如一些实验结果图），就保留原样。

其实有道图片翻译的原理也是先对图片做 OCR，把识别出的每个文字块逐个翻译，再用翻译后的文字块替换掉图片原来位置上的文字。我感觉对于 PDF，这也是可以做的，而且可以保持 PDF 仍然是矢量图。希望做 PDF 翻译工具的改进一下。

整个翻译花了半天时间，一些小问题也懒得修了。虽然翻译质量肯定不如手写的，尤其是图片翻译质量一般，但是基本上能看了。除了对 ustcthesis.cls 做了一些微调（例如把英文封面放在中文封面前面）以外，没有对翻译后的内容做任何人工修改。

AI 自动翻译的版本: High Performance Data Center Systems with Programmable Network Interface Cards (PDF, 8 MB)

中文原版: 基于可编程网卡的高性能数据中心系统 (PDF, 8 MB)

现在 arxiv 上面的 paper 都是有 LaTeX 源码的，按照这个方法，都可以直接翻译成中文论文了。希望哪天多模态模型能强到只需要 PDF，不要 LaTeX 源码，就能做翻译，这就厉害了。

Jie Zhao, Bojie Li, Wang Nie, Zhen Geng, Renwei Zhang, Xiong Gao, Bin Cheng, Chen Wu, Yun Cheng, Zheng Li, Peng Di, Kun Zhang, Xuefeng Jin. AKG: Automatic Kernel Generation for Neural Processing Units using Polyhedral Transformations. 42nd ACM SIGPLAN International Conference on Programming Language Design and Implementation (PLDI’21). Virtual, Canada, June 20-25, 2021. pp.1233-1248. [Paper PDF] [Slides by Jie Zhao]

大模型真的很厉害，这个 SIGCOMM 2019 的演讲完全是脱稿讲的，从视频中可以看出我是站在舞台中间，没有看 speaker notes。我当时的英语也不怎样，经常打磕巴，而且音频录制还有回声，自己听着都有点费劲。没想到大模型能把这么差的语音都识别的差不多全对，太牛了。

识别的方法在这里。这个视频由于录制的屏幕不够清晰，我是用原始 PPT 导出的图片替换了视频中提取的图片。大家可以看看用这个视频中的音频，市面上的语音识别软件能达到多高的识别率。我试过的，包括 Google Speech-to-Text 和 Whisper，基本上都不能用。

SocksDirect: Datacenter Sockets can be Fast and Compatible. [PDF] [Slides] [Video]
Bojie Li, Tianyi Cui, Zibo Wang, Wei Bai, Lintao Zhang.
Proceedings of the 2019 SIGCOMM Conference (SIGCOMM’19).

Bojie Li, Gefei Zuo, Wei Bai, and Lintao Zhang. 1Pipe: Scalable Total Order Communication in Data Center Networks. SIGCOMM ‘21. [Paper PDF] [Slides with audio (25 min)] [Slides with audio (12 min)]

为了方便国际友人阅读我的博客内容，使用 GPT-4 将本站内容自动翻译成了英文：

自动翻译的英文版

中文版主站

（长文预警：本文约 16000 字）

这是一个好问题。先说结论，大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。4090 如果极致优化，性价比甚至可以达到 H100 的 2 倍。

事实上，H100/A100 和 4090 最大的区别就在通信和内存上，算力差距不大。

NVIDIA 的算力表里面油水很多，比如 H100 TF16 算力写的是 1979 Tflops，但那是加了 sparsity（稀疏）的，稠密的算力只有一半；4090 官方宣传 Tensor Core 算力高达 1321 Tflops，但那是 int8 的，FP16 直只有 330 Tflops。这篇文章的第一版就是用了错的数据，H100 和 4090 的数据都用错了，得到的结论非常离谱。

H100 这个售价其实是有 10 倍以上油水的。2016 年我在 MSRA 的时候，见证了微软给每块服务器部署了 FPGA，把 FPGA 打到了沙子的价格，甚至成为了供应商 Altera 被 Intel 收购的重要推手。2017 年我还自己挖过矿，知道什么显卡最划算。后来在华为，我也是鲲鹏、昇腾生态软件研发的核心参与者。因此，一个芯片成本多少，我心里大概是有数的。

鲲鹏的首席架构师夏 Core 有一篇知名文章《谈一下英伟达帝国的破腚》，很好的分析了 H100 的成本：

把他的成本打开，SXM 的成本不会高于 300$，封装的 Substrate 及 CoWoS 大约也需要 $300，中间的 Logic Die 最大颗，看上去最高贵 ：） 那是 4nm 的一颗 814mm2 的 Die，TSMC 一张 12 英寸 Wafer 大致上可以制造大约 60 颗这个尺寸的 Die，Nvidia 在 Partial Good 上一向做得很好（他几乎不卖 Full Good），所以这 60 颗大致能有 50 颗可用，Nvidia 是大客户，从 TSMC 手上拿到的价格大约是 $15000，所以这个高贵的 Die 大约只需要 $300。哦，只剩下 HBM 了，当前 DRAM 市场疲软得都快要死掉一家的鬼样了，即使是 HBM3 大抵都是亏本在卖，差不多只需要 $15/GB，嗯，80GB 的容量成本是 $1200。
TSMC 曾经讲过一个故事。台湾同胞辛辛苦苦攒钱建厂，一张 4nm 那么先进的工艺哦，才能卖到 $15000，但是那某个客户拿去噢，能卖出 $1500000（$30000*50）的货啦，机车，那样很讨厌耶。你懂我意思吗？
就如最开始说的，在这个世界的商业规则下，$2000 成本的东西卖 $30000，只有一家，销售量还很大，这是不符合逻辑的，这种金母鸡得有航母才守得住。

据说微软和 OpenAI 包下了 H100 2024 年产能的一半，猜猜他们会不会发挥当年跟 Altera 砍价的传统艺能？会真的花 $40,000 * 500,000 = 200 亿美金去买卡？

咱们再分析下 4090 的成本，5nm 的 609mm2 Die，大约成本是 $250。GDDR6X，24 GB，按照 1 GB $10 算，$240。PCIe Gen4 这种便宜东西就算 $100 吧。封装和风扇这些东西，算它 $300。总成本最多 $900，这样的东西卖 $1600，算是良心价了，因为研发成本也是钱啊，更何况 NVIDIA 的大部分研发人员可是在世界上程序员平均薪酬最高的硅谷。

可以说，H100 就像是中国一线城市的房子，本身钢筋水泥不值多少钱，房价完全是被供求关系吹起来的。我在 LA 已经住了两周，公司租的房子使用面积是我北京房子的 4 倍，但售价只贵了 30%，还带个小院，相当于单位面积的房价是北京的 1/3。我跟本地的老外聊天，他们都很吃惊，你们的平均收入水平比 LA 低这么多，怎么买得起北京的房子的？

问题来了，如果 4090 这么香的话，为啥大家还要争着买 H100，搞得 H100 都断货了？甚至 H100 都要对华禁售，搞出个 H800 的阉割版？

虽然大多数人比较喜欢看视频，但是我更喜欢看文字，因为文字便于非线性查找，可以快速跳读，也便于随时回顾前面的内容。

最近，我把我在学术会议上的一些演讲视频转成了文字，例如 ClickNP、KV-Direct 和 计算机网络的新黄金时代系列，今天发布的是 APNet 2023 上的 FastWake。在 ClickNP 和 KV-Direct 演讲前，我都是先在 PPT 的备注里写好稿子，到场上直接对着备注念。今年连 PPT 都是会议前一天才赶完的，更没有时间写备注了，甚至都没有完整的练习一遍，我就直接上台去讲了。

现在有了大模型，把演讲视频转成 PPT + 文字稿一点都不难。其实我一直想做个这样的在线会议插件。

1. 把视频中的关键帧提取出来组成 PPT 图片列表。每帧和前一帧的差异如果超过一定阈值，就认为是切换了一页 PPT。有一个开源软件 video2pdf 就能做到。
2. 把每张图片 OCR 成文字，都是打印字符，识别准确率很高，Tesseract 就可以。
3. 把停留在每页 PPT 上的视频音轨提取出来，交给 Speech-to-Text 模型识别，例如我用的是 OpenAI 开源的 Whisper。
4. （最后一步很重要）让大语言模型（例如 GPT-4）以 OCR 出来的当前页 PPT 和首页 PPT 内容为参考，修正 Speech-to-Text 模型识别出的 transcription。

Speech-to-Text 模型目前对于专有名词和人名的识别准确率并不高，但是这些专有名词很多是在这一页 PPT 中出现过的，PPT 首页也框定了演讲的标题和领域。因此以 PPT 内容为参考，大语言模型可以修正大部分的专有名词识别错误。如果没有 PPT 内容作为参考，需要 GPT-4 才能修正大部分的专有名词，但有了 PPT 内容，LLaMA-2-70b-chat 就足够了。此外，大语言模型可以修正演讲中口语化的表达，让文字稿更严谨、易读。

以下文字稿完全为自动生成，除了几个人名，一字未改。当然，一些小错误也就保留了，但是都无伤大雅。整个过程中用到的 Video2PDF、Tesseract、Whisper 和 LLaMA-2-70b-chat 模型都跑在我自己的 Mac 笔记本上，全程无需联网。