咨询服务热线:400-0698-860
邮箱:info@chaoqing-i.com
业务中心 - 上海超擎数智科技有限公司:上海市徐汇区龙启路158号1幢灿星大厦19层1911
业务中心 - 北京超擎数智科技有限公司:北京市海淀区北三环西路99号西海国际中心1号楼907
研发中心 - 武汉超擎数智科技有限公司:武汉东湖高新区金融港二路9号联发科武汉研发中心2楼
超擎数智技术团队奔赴 NVIDIA GTC26大会现场,在震耳欲聋的欢呼声中,第一时间为您解码黄仁勋万字演讲的重磅核心:AI的发展已经不再停留在单点算力竞争阶段,全面迈入以“AI工厂(AI Factory)”和“智能体(Agent)”为核心的推理时代。

在这场被视为AI行业年度风向标的主题演讲中,黄仁勋释放了一个非常明确的信号:AI产业正在从“训练驱动”进一步走向“推理驱动”,而 NVIDIA 要定义的,也早已不只是GPU,而是从芯片、系统、网络到软件、智能体与行业应用的一整套基础设施。官方信息显示,本届GTC汇聚了超过1000场会议、2000位演讲者,CUDA也在今年迎来20周年。
作为AI原生基础设施整体解决方案提供商,超擎数智技术团队在GTC现场,为您传回这场AI狂欢的第一手硬核资讯。
一、AI计算范式重构:重心从训练扩展至推理
本届GTC最显著的变化,是 NVIDIA 对AI计算范式的重构:重心从单一的训练扩展至推理及其相关环节。在官方定义中,Vera Rubin平台被定位为同时面向训练(pretraining)、后训练(post-training)、测试扩展(test-time scaling)以及智能体推理(agentic inference)的统一计算平台。黄仁勋将推理市场的机会空间进一步上调至1万亿美元级别,这一判断也印证了 NVIDIA 对产业方向的预期:训练仍是基础,但推理、后训练与智能体执行,正在成为同等重要的工作负载。

这一转变与AI应用演进高度一致:模型训练更像一次性的能力建设,而推理则是持续发生、持续消耗资源的计算需求。随着代码生成、企业智能体、长上下文问答以及自动化流程的普及,算力消耗的重心正逐步转向推理侧。NVIDIA 此次无论在平台架构还是软件生态上的布局,均围绕这一趋势展开。

二、从推理系统到智能体平台:NVIDIA对AI工厂软件层的全面赋能
NVIDIA 的战略布局并非止步于硬件创新,其对于AI工厂软件层的完善与生态构建,同样是本次GTC演讲的重中之重。迎来20周年的CUDA,已经不只是 NVIDIA 的软件底座,更是其加速计算统一架构的核心。围绕CUDA延伸出来的一系列软件工具和平台,正在支撑AI应用从研究走向工业化生产,并进一步迈向智能体化。
1、Dynamo:驱动大规模AI推理高效运行的智能引擎
如果说Vera Rubin、Spectrum-X 和 Groq 3 LPX 回答的是“AI工厂的硬件基础设施如何构建”,那么Dynamo回答的,就是“推理系统如何在大规模集群上真正跑起来”。它的重要性在于,今天的推理已经不再是单卡、单机上的简单任务,而高度依赖于跨 GPU、跨机架的资源调度、模型分解和系统协同。它是一个智能的编排与优化引擎,旨在确保数据中心这座“Token 生产工厂”以更稳定、更高效的模式持续运转,将硬件的潜力发挥到极致。
2、Agent Toolkit:加速企业构建与部署AI智能体的综合平台
Agent Toolkit的官方定位很直接:是帮助企业构建和运行AI agents。这套强大的工具体系是一个开放且模块化的框架,它集成了models、agents 和 skills,和 Nemotron、AI-Q、cuOpt、OpenShell等组件衔接在一起。
这明确显示出 NVIDIA 的雄心:不满足仅作为算力供应商,而是要深入到AI应用落地的核心环节。其目的在于,为企业提供从模型到实际应用场景的端到端支撑。

3、NemoClaw:智能体技能与外部世界的桥梁
对于企业而言,真正决定能不能落地的,往往是安全、隐私和运行环境是否可控。 NemoClaw面向OpenClaw社区,在原有框架基础上加入了隐私、网络护栏和始终在线的企业级AI assistant运行能力,同时支持从云端、本地到DGX Spark、RTX PC、DGX Station等不同环境,并且可以通过单条命令安装。NemoClaw的出现,真正把智能体能力推进到了企业级可用的安全环境中。

三、重磅硬件更新:奠定AI时代算力基石
1、Vera Rubin:下一代AI工厂的基础设施平台
本次GTC Keynote中,Vera Rubin平台无疑是最核心的硬件更新之一。它并非单一芯片,而是一整套为未来AI工厂和智能体(agentic AI)应用量身打造的、高度集成的统一基础设施平台。其核心组件包括Vera CPU、Rubin GPU、NVLink 6 Switch、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 Ethernet switch。值得关注的是,NVIDIA 还将Groq 3 LPU战略性地整合进该平台。
官方对Vera Rubin的定义已经超越了“新一代 GPU”的范畴,将其明确为下一阶段AI工厂和智能体运行的基础设施底座。

NVIDIA Rubin Platform

左侧为NVIDIA DGX Vera Rubin NVL72 Rack,
右侧为NVIDIA Groq3 LPX Rack
2、LPU/Groq 3 LPX:专为智能体推理而生的加速器
本届GTC的另一项重要硬件发布是Groq 3 LPU。它已被战略性整合进Vera Rubin平台中,专注于满足智能体系统中对低时延和大上下文处理能力要求更高的推理场景。随着推理过程里的Prefill和Decode阶段要求分化,推理系统正逐步转向更细的分工和调度。LPU的价值,恰恰就在于它更适合承接这类对低时延要求更高的推理部分。

Groq 3 LPU
Groq 3 LPX与Vera Rubin的强强联合,能够在万亿参数模型场景下实现高达35倍每兆瓦的推理吞吐量提升,显著提升整体性能效益。


四、从 Spectrum 到 BlueField:AI工厂网络的全面跃升与重构
随着AI计算范式的演进,网络基础设施已从传统的“数据搬运工”升级为AI工厂的“核心架构”。
1、Spectrum-X
Spectrum-X Ethernet / Quantum-X800 作为Vera Rubin平台不可或缺的组成部分,其核心职责在于高效处理AI工厂里的东西向流量,即在机架与机架之间发生的大规模横向流量。对于当前动辄千亿、万亿参数的大模型训练、后训练和推理集群而言,这种横向互联能力已经不再是辅助配件,而是决定系统利用率和扩展效率的重要环节,其性能瓶颈直接制约AI工厂的生产力上限。
2、ConnectX-9 SuperNIC
如果说交换机定义了宏观的网络结构,那么 ConnectX-9 SuperNIC 更像是每个节点与网络之间的高速数据接口与智能网关。作为支撑高性能scale-out网络的关键组件,ConnectX-9对于大规模AI系统至关重要。它不仅要承担高吞吐、低延迟的数据进出任务,更直接影响了GPU集群在训练和推理中的通信效率。它的价值,在于保障海量数据的高效流转,并支撑更大规模集群的稳定扩展。
3、BlueField-4
进一步深入网络架构的底层,BlueField-4 DPU在本次升级中也有举足轻重的作用。
BlueField-4的战略意义不仅在于其作为DPU的独立功能,更在于它直接支撑了新的BlueField-4 STX storage rack。长上下文和多轮agent任务也在把KV cache推到更核心的位置。在很多推理场景里,真正影响成本和效率的,不只是模型参数本身,而是上下文缓存能不能被高效保存、迁移和复用。尤其当推理系统开始走向PD分离之后,KV cache如何在不同节点和不同阶段之间高效流转,也会成为影响时延和吞吐量的关键问题。这套rack-scale系统是一种AI原生存储基础设施,能够实现在整个POD范围GPU memory的无缝扩展,并针对大模型和智能体AI工作流产生的大规模KV Cache数据进行存取优化。

NVIDIA BlueField-4
4、光网络和共封装光学
NVIDIA 官方同时发布了共封装光学版的Quantum-X InfiniBand / Spectrum-X Ethernet交换机。
面对AI集群规模扩大带来的功耗与延迟压力,光网络的重要性愈发凸显。相比传统可插拔光模块,最高可带来 5 倍能效提升和 10 倍韧性提升。这不仅是互联技术的革命性突破,更是为未来超大规模AI工厂构建绿色、高效、稳健的“光骨架”提供了核心技术支撑。

Quantum-X800 Q3450 InfiniBand 交换机
五、物理AI爆发:从数据中心走向真实世界
如果说前半部分的重点是 AI 工厂、推理系统和智能体平台,那么后半部分更清楚地表明,NVIDIA 正在把 AI 往现实世界推进。
从数字工厂的数字孪生蓝图(Omniverse DSX),到 Disney 基于 NVIDIA Warp 构建物理仿真器训练机器人,AI 不再只是“会回答”,还要“会看、会判断、会行动”。Physical AI(物理AI)的时代已经开启。

六、从蓝图到落地:超擎数智全面赋能AI推理时代
从算力堆栈的极致解耦,到物理世界的具身智能,NVIDIA 已经给出了AI时代的整体方向。然而,要将1吉瓦电力真正转化为持续、可控、具备成本优势的Token产出,这绝不是几张高配GPU的简单堆叠,而是一套复杂的系统级工程。
蓝图的落地,离不开脚踏实地的实践者。
作为AI原生的基础设施整体解决方案提供商,以及NVIDIA Compute与Networking 的双Elite精英级合作伙伴,超擎数智早已身处这场技术变革中。我们深耕高速光电互联与无损网络,依托自有的高性能计算和人工智能研发测试中心,以及 NVIDIA 授权合作伙伴 DPU 和 DOCA 卓越中心,不仅能为客户打通大模型推理时代的网络链路,更能提供从算力设计、技术服务到应用运营的全栈交付能力。
我们致力于将GTC展台上的前沿技术,转化为教科研、金融服务、自动驾驶等行业中的实际生产力。
【抢占先机!共赴上海AI基础设施创新应用研讨会】
百闻不如一见。为了让您零距离接触GTC 26的核心科技脉搏,将宏大的技术趋势转化为切实的业务增长点,超擎数智携手 NVIDIA,重磅开启“AI基础设施创新应用研讨会”!
大咖拆解,直击核心:NVIDIA 技术专家面对面,为您深度剖析GTC26先锋观点与前沿技术。
实战赋能,方案尽显:沉浸式体验超擎数智关于AI基础设施的真知灼见与落地案例。
巅峰聚首,生态共赢:与千行百业的AI先行者共谋AI推理时代新局。
活动时间:3月24日 14:00-17:00
活动地点:上海西岸美高梅酒店 三楼美高梅I厅
席位有限!立即扫描下方二维码,与超擎数智一起入局“推理时代”!

公众号

电话
需求反馈