英特尔与 SambaNova 携手打造异构 AI 推理平台,让不同硬件分别负责各自擅长的任务

该推理平台可同时利用英特尔 Xeon 6 系列处理器、SambaNova 的 SN50 RDU 模块以及英伟达的 GPU,以针对不同硬件优化各类工作负载


英特尔与 SambaNova 周三宣布了他们联合推出的、可投入量产的异构推理架构。

英特尔与 SambaNova 的异构推理平台把推理流程拆成不同阶段,由不同芯片各司其职:用 AI GPU 或 AI 加速器吸收长提示并构建键-值缓存;用 SambaNova 的 SN50 RDU 进行解码和生成标记;用 Xeon 6 处理器处理与智能代理相关的任务(例如编译并执行代码、校验输出),并负责在各类硬件之间协调与分配工作负载。

该方案计划于 2026 年下半年推出,面向企业、云服务提供商以及需要可扩展推理平台的主权 AI 项目,尤其适用于代码生成代理和其他代理型工作负载,并支持完全本地部署。

SambaNova 的内部数据显示,Xeon 6 在 LLVM 编译上比基于 ARM 的服务器 CPU 快逾 50%,在向量数据库负载上比竞争的 x86 处理器(如 AMD EPYC)性能最高提升约 70%。两家公司表示,这些性能提升可加快编码代理等应用的端到端开发周期。

这种可投入生产的异构推理架构的最大优势可能是:SambaNova SN50 与基于 Xeon 的服务器可以直接在能够承受 30kW 的数据中心中部署,而大多数企业数据中心都能满足这一要求。

🗒 标签: #英特尔 #Intel #SambaNova #AI
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot
 
 
Back to Top