2022年前后，在OpenAI还未发布ChatGPT前，“AI infra”（AI infrastucture）在业内还不是一个完全成型的概念。许多研究高性能计算、分布式系统、大规模算力网络集群等技术的创业者都还处于“拿着锤子找钉子”状态。
这一时期，基流科技创始人胡效赫从清华大学自动化系博士毕业，开始进入AI领域创业。在清华大学就读本科与博士期间，胡效赫的研究方向是云计算、分布式系统和高性能网络处理。他的创业团队成员大多来自清华大学网络安全实验室。“在AI大模型火起来之前，我们在实验室里研究分布式系统、云计算、云网络等技术，产业界最主要需求还是与自动驾驶仿真有关。”胡效赫告诉
在GPT-3、GPT-4等AI大模型陆续问世并引发全球轰动后，AI infra近两年成为了备受关注的热门创业方向。按照业内通俗定义，AI infra是涉及人工智能底层基础设施的产品与技术的统称，包括硬件、软件、数据和算法。基流科技主要研发通信网络及配套的交换机硬件、算力调度运维软件，用于支持AI大模型的算力集群落地与运营。IDC报告显示，2024年上半年，全球在AI部署的计算和存储硬件基础设施上的支出达到474亿美元，同比增长97%。
DeepSeek今年的出现进一步催化了AI infra的热度。DeepSeek通过MOE架构（Mixture-of-Experts ）与强化学习（Reinforcement Learning）一系列手段，针对人工模型底层基础设施做优化，大幅降低了模型的训练成本。
胡效赫认为，DeepSeek带火AI infra的直接原因是行业看到了从底层优化AI模型效率的重要性。以公司所做的算力网络举例，“2024年行业门槛开始变低，但其实很多厂商就是把服务器和网络的线插上连上，完成基本的硬件集成工作，就算做完了组网。Deepseek出现后，业内开始认识到，要真正降低成本，达到一定的利用率，像是把原来需要4000张GPU卡做的训练变成3000张，就需要深入基础设施底层，通过关键技术创新去优化计算通信效率。”
此前，算力一直被认为是限制AI模型性能的瓶颈，各地都在大举投建新的AI数据中心用于算力扩容。在DeepSeek出现并降低了AI模型研发的算力门槛后，业内开始讨论前两年快速扩张的算力需求是否会放缓，市场是否存在泡沫——全球算力霸主英伟达年初也受DeepSeek冲击，股价缩水超过了20%。
胡效赫认为，DeepSeek出现后市场接下来对算力依然保持强需求。在他看来，DeepSeek V3 是迭代训练的结果，涉及大量反复尝试与重试，过程中仍然需要消耗不少算力。算力需求与迭代两者间的基本逻辑依然是“投入更多算力，就能更快看到迭代的效果”。
“用业内经常提到的一个例子打比方，一个人中午吃饭要吃10个包子。不可能最后反过来说前面9个包子都不重要，只吃第10个包子就能饱。”胡效赫说。
此外，市场热议的另一种观点认为，DeepSeek出现后，市场对算力的需求非但不会降低，反而会大幅上升。
行业原先认为，从无到有地生成一个大模型主要依靠“训练”，用训练好的模型处理新数据主要依靠“推理”。模型前期训练需要“喂”海量的数据，数据计算过程需要消耗更多的算力，算力需求主要集中于模型训练。业内IDC等市场机构曾估算，训练算力与推理算力在2023年的比例是8比2，但未来随着模型成熟、性能趋于稳定，推理算力需求将有更快的提升。
而DeepSeek的出现加速了这一趋势。DeepSeek的突破被认为是模型推理的技术创新，其开源模型的推广将一步推动基于AI推理的应用开发。行业最新预测，训练算力与推理算力的比例很快将达到6比4，甚至更高。英伟达CEO黄仁勋此前在媒体采访与3月的GTC大会上多次强调，随着行业原先集中于训练的算力向推理迁移，算力需求的总量不降反升。“DeepSeek的成功反而证明了市场需要更多芯片”。
随着算力需求的持续扩容，AI infra行业也将迎来更大的增长机遇。自2023年公司成立以来，基流科技已经参与过搭建万卡集群，支持了国内十多个智算数据中心集群落地，服务过包括智谱AI、商汤、运营商、地方国企等一众客户。此前接受媒体采访时，胡效赫曾提到，基流科技的算力集群方案在生产环境中达到全球一线厂商的利用率水平，同时帮助客户在千卡落地中节省成本上千万元，在万卡落地中节省数亿元。
最早作为国内早期创业孵化机构奇绩创坛的项目，基流科技目前为止已完成了天使轮到A轮的五轮融资，背后投资方有智谱、光速光合、华泰创新、招商局创投、中关村科学城、张江高科、水木清华校友基金、卓源亚洲、启迪之星、国方创新等一众机构。据界面新闻了解，公司近期即将完成新一轮融资。一位投资人告诉
创业之初，胡效赫对公司的定位是做“大模型时代的思科”。思科曾在互联网产业崛起的过程中靠提供大量的网络交换机、路由器设备，参与构建了全球网络基础设施，基流科技则要在数据中心、国产通信网络系统、高性能计算集群等AI基础设施上发力。同时在此过程中，公司还计划投入更多的研发创新和商业化推广，建设国产供应链以实现国产化替代目标。
当前，大火的AI infra赛道也已经涌入了更多公司。胡效赫认为，虽然各家切入创业的方向不同，技术与产品也有很大的差异，但随着资本的涌入，竞争加速，整个AI infra领域与两年前相比发生了根本变化，“如果说2022年、2023年，AI infra的创业者还可以仅靠团队背景、技术拿融资，现在已经到了要讲商业化、讲实际业务规模的阶段。”
评论列表