光年之外联创再出发，与袁进辉聊 AI Infra 到底做什么？| AI 大爆炸

About this Episode

本期是《晚点聊》「AI 大爆炸」系列第一期节目。

在这个系列里，我们既关注一个个 AI 公司或产品的创业和开发故事，也希望由此逐渐覆盖 AI 版图的各个面向，与关注 AI 热潮的听众一起探讨和见证这次新技术变革激起的浪涌。

这期节目中，曼祺邀请了一位老朋友，AI 领域的一位资深从业者和连续创业者，袁进辉。

袁进辉在 2016 年创立一流科技（OneFlow），2023 年加入光年之外任联合创始人，2023 年 6 月光年之外被美团收购后，袁进辉再次创业，成立硅基流动（SiliconFlow)。

在宣布这次创业的朋友圈中，袁进辉的配文是：“过去 15 年不算顺利，屡败屡战。”

“屡败屡战”与他创业以来一直所在的 AI Infra （AI 基础软件）领域在中国市场的状态有关。OneFlow 当年在 AI Infra 中做服务 AI 训练（模型的生产）的框架，SiliconFlow 则是做服务大模型推理（模型的应用）的框架。

AI 框架简单来说是连接底层硬件算力层和软件模型层之间的一层系统软件，它类似模型开发者们使用的操作系统。

纯软模式在中国的商业化和付费意愿一直是行业难题，这也是袁进辉此次创业想努力跑通的部分。

本期节目我们聊了：
第一段创业历程回顾 & AI Infra 是做什么？
01:51 - 梦想当科学家，2008 年博士后时选了一条激进的路，做机器学习和脑科学交叉学科研究。
06:10 - 当时深度学习还没热，未能转教职，来到工业界。在微软亚研院开发出 LightLDA（一种主题模型），这是互联网搜推广的核心系统之一，被快手等公司使用。
12:31 - 2016 年开始开发 AI 训练框架。当时 Google 的 TensorFlow 等框架已出现，如何差异化？
15:03 - 袁进辉的反共识判断：未来模型会变得非常大，需要新系统，创立 OneFlow。
18:27 - 再次创业，做硅基流动：看到大模型推理需求会超过训练，也能避免这支团队分散。

成立硅基流动，瞄准大模型推理需求
26:34 -“我们进光年的时候是40人，出来的时候是35人。”
28:42 - 业务重心：从训练转向推理，专注于大模型的推理部署。
36:00 - 商业模式：全球化战略，面向海外市场；在国内则要绑定客服愿意付费的东西，不能只有软件。
39:09 - 国内商业化的难度：需要创造性的策略和产品形态。

AI基础设施的未来趋势与机遇
51:26 - 技术不会一直是壁垒，算法尤其传播得快。
53:44 - 工程能力可能更关键。因为一个算法上的好点子，往往被执行后 ROI 极高，所以大家都会做；工程优化则是每个单点的 ROI 都不大，需要日积月累，到最后真正会做的团队非常少。
56:18 - 期待大模型超级应用，认为它们大概率不来自现在的大模型公司。
58:12 -成为"张一鸣"背后的人？但张一鸣背后没有人——超级应用未来自己做 AI Infra 怎么办？
59:28 - 软件层面的竞争将加剧，但顶尖供应商将获得大回报。
01:04:43-在清华科技园吃饺子听到邻桌议论：“OneFlow 技术挺好……还不是被收购，没赚钱."希望这次可以成为一个更好的范例。

相关阅读：
《晚点独家丨袁进辉新公司获创新工场、王慧文等 5000 万投资》
《硅基流动完成5000万元天使轮融资》

本期节目中出现的产品、人物等名词：
·一批 AI 训练框架：TensorFlow（Google)、PyTorch（Meta）、PaddlePaddle（百度）、PAI（阿里）、Mindspore（华为）。
·两个当前最主流的开源大模型推理框架：TensorRT-LLM（英伟达）、vLLM（伯克利大学）。
·LightLDA：袁进辉在微软亚研院开发的主题模型训练算法和系统。
·Geoffrey Hinton，图灵奖获得者，被认为是深度学习之父。
·张钹，清华大学计算机系教授、中科院院士。
·李飞飞，斯坦福大学教授，美国工程院院士。
·李兆平，计算神经科学专家。
·邢波（Eric Xing），穆罕默德·本·扎耶德人工智能大学校长。
·汪玉，清华大学电子工程系主任，创立了无问芯穹。
·尤洋，新加坡国立大学教授，创立了潞晨科技。
·贾扬清，AI 训练框架 Caffe 作者之一，现在创立了 Lepton AI。
·李沐、陈天奇，AI 训练框架 MXNet 作者。李沐曾担任亚马逊首席科学家，现在创立了 Boson.ai；陈天奇参与创办了 OctoAI。

登场人物：
袁进辉，硅基流动创始人。联系可加微信：SiliconFlow01
程曼祺，晚点科技报道负责人。即刻：程曼祺 _ 火柴Q
贺乾明，晚点科技报道作者。即刻：我是 chiming

剪辑：甜食