Bojie Li (李博杰)
2023-08-27
- 做不做基础大模型？
- To B or to C？国内 or 海外？
- 人民币资本 or 美元资本？
- AI Native 的应用是移动互联网级别的机会吗？
- 你们的 vision 是 AGI 吗？
- 大模型胡说八道的问题可以解决吗？
- 大模型 infra 如何盈利？
- 你们的护城河在哪里？
- 你们的商业模式能 scale 吗？
- 如何应对大模型的监管和法律责任？
下面就这 10 个灵魂拷问，分享一些我自己的观点。
2023-08-24
2023-08-17
2023 年 5 月 1 日，石家庄
- 谭博致辞
- 霖涛导师致辞
- 谈海生教授致辞
- 新郎李博杰的婚礼誓言
- 新娘孟佳颖的婚礼誓言
- 新郎父亲致辞
- 新娘父亲致辞
- 新娘父母在改口仪式上的发言
- 新娘在改口仪式上的发言
- 新郎父母在改口仪式上的发言
2023-08-15
2023 年 5 月 1 日，石家庄
照片
预告片
（00:31，73 MB，19 Mbps）
精剪
（04:47，216 MB，6 Mbps）
全程纪实
（01:30:24，3.35 GB，5 Mbps）
2023-08-13
《MSRA 读博五年》系列之三，未完待续……
地下挖矿机房
帝都万柳一座普通的居民楼地下，穿过一道厚重的防空洞铁门，再穿过一条不开灯就伸手不见五指的巷道，就是我挖矿的地下仓库。
旁边的地下室里，住着很多在帝都奋斗的打工人，那里一间最小的房间一个月只要一千块钱。十几间地下室的陌生人共用一个卫生间，一个洗漱间，公用的洗手池、洗衣机都锈迹斑斑。巷道的尽头是一间 30 平米的大厅，还有通风口可以透出一点外界的光，我便租下了这间大厅和旁边的一间小屋，用作矿机机房。
我自己搭建了地下挖矿机房的基础设施，运行着价值 30 万人民币的 6 卡 1080Ti 水冷矿机、油冷矿机、多台 6 卡 1060 矿机、多台 9 卡专用矿机、各种挖比特币和莱特币的 ASIC 矿机，还承载着我最隐蔽的个人项目——数字前任计划。
2023-08-13
AI 操作系统这个概念已经有很多人提出过。传统的 AI 操作系统可能更多是基础架构（infra）方面，本质上是管硬件的；我们提出的 AI 操作系统是管大模型的。
今天，我注册了域名 os.ai，暂时放了一个 placeholder 网页，简单介绍我们正在构建的 AI 操作系统。
AI 操作系统是大语言模型和应用之间的桥梁。我们的专业团队致力于提供低成本的解决方案，构建高可预测性、高可控性的生成式 AI 基础架构，支持生成文本、图片、视频、3D 元宇宙、生成式助理（generative agents）。
为什么我们需要 AI 操作系统？目前的大模型在成本、可预测性、多模态、评估测试等方面存在很多挑战，我们相信不仅需要模型本身的改进，更关键的是与数据和系统紧密协同设计。
低成本
目前使用 GPT-4 阅读一篇论文需要 10 美元，用 Runway ML 生成一段 7.5 分钟的视频需要 95 美元。
我们作为 AI 基础架构的专家，通过自建最前沿的 GPU 组成的 AI 数据中心，以及协同优化模型、数据和底层硬件架构，提供低成本的生成式 AI 服务。
可预测性
- 在模型层面上减少幻觉
- 沙盒化
- 系统/用户权限隔离（避免指令注入）
- 事实性校验
- 可靠地执行长流程任务
- 集成行业私有数据集和数据库
多模态
低成本的文本、图片、3D 元宇宙、个性化生成式助理的创作管线，生成细节具有高度可控性。
- 文本 → 图片/视频/3D 模型
- 文本 + 图片 → 图片/视频/3D 模型
- 文本 + 视频 → 视频/3D 模型
- 文本/图片/视频 → 个性化生成式助理
模型评估
在开放环境中对大语言模型自动进行高吞吐量的评估、测试和选择。使能大语言模型市场，使能生成式助理构建的元宇宙。
目前 AI 操作系统还仅仅是个初步概念，其中很多技术仍然在研究中，欢迎关注 os.ai，让我们期待大模型 AI 操作系统的来临。
2023-08-07
（本文首发于 知乎）
涉及机密信息的公司，一般会划分为低密区、中密区、高密区：
- 低密区：对于图像流、视频流、信息流，具有一定的泄露检测和溯源能力；
- 中密区：对于图像流、视频流、信息流，具有一定的事前泄露阻断和检测能力，具有很强的事后泄露溯源能力；
- 高密区：对于图像流、视频流、信息流，具有很强的事前泄露阻断能力。
高密区是最简单的，物理隔离，门口放上安检仪，手机、U 盘等电子设备都不允许带进去。
中密区和低密区是比较困难的，因为里面的办公电脑能上外网，手机也能带进办公室。以下从泄露阻断、泄露检测和泄露溯源几个维度来讲怎么维护信息安全。泄露阻断是指让数据泄漏不出去，泄露检测是在数据泄露可能发生的时候能够发现并上报，泄露溯源是指数据已经泄露的时候能够追查到是谁泄露出去的。
2023-08-05
（本文首发于 知乎）
各大互联网公司基本上都在部署 RDMA 技术，目前主要的场景就是存储和 AI/HPC，主要分为两个技术路线，RoCEv2 和 Infiniband。
RoCEv2 是 RDMA over Ethernet，就是在传统的数据中心以太网络上面跑 RDMA 协议。Infiniband（IB）的历史就更长了，上世纪 80 年代的 HPC 高性能计算集群用的都是 IB。
RDMA 网卡目前的老大是 NVIDIA 收购的 Mellanox。可以说，RoCEv2 是社区版 RDMA，Infiniband 是企业版 RDMA。社区版的优势在于开放，可配置的东西多，但这也是它的缺点，只有网络专家才能玩得转。而且大规模 RoCEv2 集群还不是一个网络专家就能玩得转的，需要一个团队来搞定 PFC 风暴问题和网卡交换机各种奇奇怪怪的问题。当然，如果只有几台机器和一个交换机，网卡都是同一型号的，这种小规模集群用 RoCEv2 基本上也不会遇到什么问题。
RDMA 这个圈子很小，基本上都有一定的学术背景，如果对上述问题都没听说过，那还是老老实实用 IB 吧，稍微多花点钱，简单省事。我听说有的 AI 公司觉得只要买 A100/H100 就够了，连 SXM 版和 PCIe 版都分不清，也不知道需要买 IB 网卡和交换机才能实现大规模训练，以为用普通 10G 网络连起来就行，这种最好找一个卖 AI 集群解决方案的给配好 IB 网卡、交换机和网络拓扑，千万别自己逞能，别为了省钱去碰 RoCEv2。
OpenAI 的 GPU 集群目前用的大多数是 Infiniband，现在一些中小型 AI 公司用的也是 IB。大多数大型公司的新建 GPU 集群用的是 RoCEv2，因为这些大厂要支持万卡以上的规模，IB 在这种规模上 scale 不上去，而且这种规模的公司成本很重要。有些大厂都已经开始自研网卡了。另外一个原因就是大厂有专业的网络团队，IB 这么封闭的东西很难调优，这让这些网络专家们怎么调性能写 PPT 呀。
2023-08-05
（本文首发于 知乎）
CC（cache coherency，缓存一致性）可以分为两个场景：
- 主机内 CPU 和 device 之间的 CC
- 跨主机的 CC
主机内 CPU 和 device 之间的 CC
我认为主机内 CPU 和 device 之间的 CC 是非常必要的。2017 年我在微软实习的时候，用 FPGA 做了一块内存挂到 PCIe 的 bar 空间上，真能在这块 bar 空间上跑起来一个 Linux 系统，但是本来只要 3 秒的启动流程花了 30 分钟，比 host memory 慢了 600 倍。这就是因为 PCIe 不支持 CC，CPU 直接访问 device memory 只能是 uncacheable 的，每次访存都要通过 PCIe 去 FPGA 转一圈，效率低得不行。
因此目前 PCIe bar 空间只能用来让 CPU 给 device 下发 MMIO 命令，数据传输必须通过 device DMA 来进行。因此现在不管是 NVMe 盘还是 RDMA 网卡，都必须走 doorbell-WQE/command-DMA 这一套复杂的流程，如下图所示。
2023-07-04
2012 年 11 月，我的博客随 USTC Blog 诞生。2013 年 5 月，我的博客有了独立域名 bojieli.com。2015 年 1 月，博客启用新域名 ring0.me，ring0 是 x86 体系结构中的最高特权级，意味着我对系统底层技术不懈的追求。
今天，我注册了溢价域名（premium domain） 01.me。0 和 1 是二进制仅有的两个数位，我选择这个域名是希望投身 AGI（通用人工智能）事业，为基于 0 和 1 的硅基生命作出一点微小的贡献。
01.me 这个域名也有一定的投资价值，01.org 是 Intel Open Source 的官网，01.ai 是李开复老师 AI 创业公司零一万物的官网，01.com 曾在 2017 年售出过 $1,820,000 的高价（当然 .me 和 .com 的价值不可同日而语）。
为方便在微信等国内平台上分享文章，本网站另有两个国内备案过的域名 bojieli.com 和 boj.life。待注册局的新注册域名 60 天保护期过后，可能会考虑把 01.me 迁到国内注册商，进行备案。