On-chain AI：Web3 和 AI 的融合
（本文首发于知乎）
On-chain AI 是一个重要趋势，我相信对 Web3 和 AI 的未来都是很关键的。主要解决当前 AI 的两大问题：
- 算力上链，现在虽然做 AI 推理服务的公司很多，但每个服务都是一个孤岛，定价虽然竞争激烈，但尚未达到充分的市场化。而且 Web3 服务（如智能合约）目前没有很好的在链上使用 AI 服务的方式。
- 链上 AI Agent 平台，解决 AI Agent 的制作、销售和利润分成问题。现在诸如 Character AI 的平台，用户都是用爱发电，AI Agent 的收入完全归平台所有，用户自然没有太多动力去精心调优 AI Agent。
算力上链
现在开源模型已经足够成熟，例如 LLaMA-2 70B 的能力已经在很多方面达到 GPT-3.5 的水平，而且使用自己的硬件 infra 和高性能的 inference 框架（如 vLLM）可以在成本上比调用 GPT-3.5 API 更便宜。
FastChat 这类的框架已经实现 OpenAI 接口兼容，现在很多家大模型也都是用的这套兼容接口，因此模型接口基本上也统一了。
在这样的背景下，很多 AI 推理服务公司打起了价格战，比如 Together AI 的 LLaMA-2 70B 成本已经降低到了 0.0009 美元/1K token，比 GPT-3.5 还要便宜一半多。Lepton AI 的推理成本也非常低。
既然 AI 推理服务已经标准化了，那么是否有可能把算力放到区块链上，让区块链自动对 AI 大模型推理算力进行定价呢？这里面关键需要解决的有几个技术挑战：
- 如何实现高效的请求分发和记录。大模型推理对延迟比较敏感，需要高性能的请求分发。如何实现去中心化的高效请求分发是一个挑战。请求（prompt）和大模型的响应数量众多，都放到区块链上可能导致比较高的存储开销，而且请求和响应有较高的隐私性，不适合公开到区块链上。但如果什么都不存储，又没办法做验证。最好是采用存储 hash 的方法。
- 如何验证算力节点输出的正确性。比如会不会有的节点以次充好，用小模型冒充大模型，甚至随便编造一个输出来糊弄人？由于验证大模型输出的正确性只能重算一遍，如果每个输出都由其他节点进行验证，成本会很高。最好是用基于信用的机制，节点要贡献算力先 stake 一定的 token，采用一定的抽查机制或者仲裁机制（dispute resolution），如果发现计算结果错误，就进行一定的惩罚。当然，这也需要保证大模型的输出是可以重现的（例如记录 seed），还需要保证仲裁机制本身是可信的。
- 如何评估算力节点和请求分发节点的延迟。由于大模型推理对延迟敏感，不仅仅需要推理结果的正确性，还需要尽可能快地获得输出。链上 AI 的机制一定需要能够评估算力节点的计算延迟和请求分发节点的分发延迟，尽可能选择延迟较低的节点，而不要选择延迟过高的节点。
在 Proof of Work 的时代，无数算力被用在了挖矿上面。如果这些算力可以用来做 AI 推理该多好呀！而且这些 GPU 矿机完全可以做 AI 推理，像 LLaMA 7B/13B 小模型、stable diffusion 图片生成、Whisper 语音识别、VITS 语音合成等模型，都可以跑在消费级显卡上。
困扰智能合约的一个长久的问题就是智能合约无法调用 AI 算法，因为合约很难自动给 AI 算力付费，这样智能合约的 “智能性” 就大打折扣。有了 On-chain AI，智能合约将借助大模型的能力，真正变得 “智能”。
此外，区块链作为一个天然开放的平台，还可以避免大公司直接发布未经微调的基础模型（base model）带来的道德问题。链上的 AI 算力可以经过微调以符合不同地区的文化和法律，也可以提供未经微调的原始版本。
On-chain AI 将真正实现 AI 算力的平民化，把大模型推理算力的溢价降低到一个合理的水平，让应用开发者可以更便宜地使用大模型。
链上 AI Agent 平台
OpenAI 最近发布的 Agent 平台 GPTs 和 Assistant API 引起了很多关注。但 OpenAI 的 Agent 平台仍然是一个封闭的平台，OpenAI 赚了多少钱我们并不知道。
更有很多 Agent 平台完全不给 Agent 创作者任何分成，用户完全是用爱发电，创作的 Agent 收入完全归 Agent 平台所有。例如 Character AI、Janitor AI 都是这样的，上面上万个 Character，都是用户辛辛苦苦凭兴趣创建的，但创作者拿不到一分钱。
链上 AI Agent 平台可以创建一种开放透明的商业模式。链上 AI Agent 平台可以采用类似 OpenAI GPTs 的模式，用户在链上付费使用 Agent，Agent 的创作者和 AI 算力的提供者（参见上面的算力上链，On-chain AI 部分）各获得一部分的分成，没有中间商赚差价。
这样，Agent 创作者就更有动力好好调教自己的 Agent 了，例如放进去更多的语料、更高质量的语料做 fine-tuning，或者探索使用不同的基础模型组成的 pipeline 以获得最佳的对话效果和多模态能力。
智能合约还可以为链上 AI Agent 平台引入更多的玩法，AI Agent 就像 NFT 一样，可以带有一定的金融属性，有无限的想象空间。