Modal 在报告沙盒吞吐量翻倍后采用 Nvidia Vera CPU

Modal 在内部测试显示负载下吞吐量最高可达两倍后采用 Nvidia Vera CPU，这对其依赖 Intel 和 AMD 处理器的现状构成挑战。吞吐量衡量的是单位时间内完成的工作量。这一结果涉及共享计算容量，并不意味着每一项 AI 任务都会以两倍速度完成。

这一差异凸显了竞争压力的所在。Nvidia 正在进军 AI 模型周边的常规软件执行领域，而 Intel 和 AMD 已为 Modal 提供处理器。CPU，即中央处理器，负责运行通用软件指令。对于 AI 服务而言，这包括执行生成的代码，以及处理模型响应之间的工作。

Modal 的发现支持一种特定采购逻辑：应根据繁忙服务器上完成的有效工作量来评估处理器。然而，采用 Vera 也需要软件改造，Modal 计划保留现有供应商。眼下的故事是新增了一种与工作负载契合度可观的硬件选择，而非已完成对其整个设备集群的替换。

Modal 为计划中的沙盒部署采用 Nvidia Vera CPU

Modal 在其 10 月 19 日发布的工程博客中表示，公司此前一周已在旧金山收到首台 Vera 服务器。该公司称，在早期并发测试中，与同等配置的 Intel Granite Rapids 机器相比，吞吐量最高可达两倍。其沙盒吞吐量研究结果描述了引入 Vera 支持的计划，而非已完成全机群部署。

已验证的变化，是由客户测试支持的一项计划性架构扩展；要实现生产环境采用，仍需完成工程工作。

沙盒是一种运行代码、同时将其与其他活动隔离开的环境。对于 AI 编程智能体而言，该环境是拟议修改接受可执行现实检验的场所。模型可以提出修复建议，但软件仍需完成构建、运行并返回结果。

这与为单一应用选择处理器是不同的硬件决策。云服务提供商必须考虑互不相关的客户任务如何共同运行。理想的服务器应在不让单个任务慢到难以接受的前提下，支持其租户开展高效活动。

因此，Modal 的测试作为潜在运营商提供的证据具有重要意义。Nvidia 有理由以有利方式展示 Vera，但 Modal 同样必须承担引入另一种架构所带来的后果。在任何性能优势惠及客户之前，支持新硬件就会增加工作量。

这并不意味着 Modal 是独立测试实验室。其结果仍是公司内部测量，会受其选定工作负载和运营优先级影响。不过，决定投入兼容性工作，使这些发现比孤立的供应商演示具有更强的商业相关性。

围绕采用的表述需要谨慎。收到服务器、完成评估、宣布支持计划以及承载常规客户流量，分别代表不同里程碑。不应将它们混同为 Vera 已为 Modal 整项服务提供支持这一说法。

同样，吞吐量优势并不证明每位客户都会获得同等幅度的改善。一些工作负载占用的处理器时间很少，另一些则会长时间等待外部服务。硬件收益能否传递给用户，取决于其任务中哪些部分实际依赖处理器。

因此，更有意义的问题并非 Nvidia 是否突然成为最快的 CPU 供应商，而是 Vera 能否在可接受的响应时间下，为 Modal 提供足够的额外容量，从而证明扩展其软硬件支持是合理的。

这一问题构成了本文的主要竞争主线：Nvidia 的新选择对阵 Modal 已建立的 Intel 和 AMD 基础设施。基准测试开启了这场较量，而部署经验将决定其运营价值。

AI 智能体对模型调用之间的处理器施加压力

AI 智能体扩大了 CPU 采购决策的范围，因为模型生成下一条指令后，有效工作仍会继续。

AI 智能体是利用模型选择并执行步骤、以实现目标的软件。其进展既取决于模型作出的决策，也取决于执行这些决策的系统。只有当改进针对限制任务完成的工作时，改进任何一方才会有所帮助。

以一个示例性的编程任务为例。智能体提出一项修改、执行测试、读取失败信息，然后调整方法。生成的回答只是中间步骤。只有当周边软件提供智能体可利用的反馈后，任务才算完成。

这使处理器性能具有重要性，但并未削弱 GPU，即图形处理器的作用；GPU 可加速高度并行的计算。这两类硬件支持流程的不同部分。更快的模型计算无法消除等待必要软件执行所耗费的时间。

Nvidia 在 7 月发布的智能体工作负载分析认为，负载下持续的 CPU 性能会影响 AI 服务的推进。这是供应商的论点，而非对 Modal 结果的独立确认。它的关联性在于其机制：顺序依赖可能使 CPU 延迟产生超出 CPU 本身的重大影响。

对 Intel 和 AMD 的压力来自买家如何界定比较标准。如果采购标准强调繁忙服务器上完成的智能体工作，熟悉的处理器规格就会成为辅助证据，而无法单独决定结果。

例如，核心数量表明可用的执行资源，但不会自动说明一组混合的、相互依赖的任务能多快完成。买家仍需观察实际应用和周边平台的表现。

同样，醒目的基准测试胜利也是如此。只有当结果映射到客户能够识别的服务约束时，才具有商业说服力。额外容量在能够被利用且不造成新瓶颈或损害服务质量时最有价值。

对 Modal 而言，潜在收益涉及客户智能体背后的基础设施。对开发者而言，相关结果是其他用户活跃时，其任务能否可靠完成。对企业买家而言，问题则是随着使用量增长，服务容量是否仍然可预测。

这些利益相互重叠，但并不完全相同。运营商可以获得容纳需求的额外空间，却不一定立即改变单个客户的体验。客户也可能感受到更好的响应速度，而不知道是哪种处理器带来了改善。

这种区分避免了轻易夸大。Nvidia 获得更多 CPU 采购考量，并不意味着每一种 AI 应用都需要 Vera。这表明，智能体执行让云运营商有了另一个理由，重新审视此前已满足需求的硬件。

由此产生的竞争要求是具体的。现有供应商需要在具有代表性的繁忙系统上保持吸引力。Nvidia 则需要证明，其优势能够经受从选定评估转向可靠服务的过渡。

Nvidia Vera 基准测试检验争用下的有效工作

Modal 公开的Agentless Agent Bench提供了一项重要的方法论细节，而简单的“快 2 倍”标题中并未体现。它使用了 50 项带有参考解答的精选 Terminal-Bench 任务，移除了模型响应时间和网络活动。只有验证器通过，运行才会被计为完成。

Nvidia Vera 基准测试考察的是定义明确的执行工作负载，而不是自主智能体完整的智能水平或速度。

参考解答提供了完成任务所需的已知命令。移除模型的决策过程，有助于隔离执行这些命令的机器。验证随后会检查执行是否产生可接受的结果，而不只是快速结束。

该代码库描述了串行和并发两种测试。串行测试逐项运行任务。并发测试则允许多项任务争夺机器资源。这两种方法回答的问题不同，因此其结果不应被视为可以互换。

串行结果有助于刻画不存在竞争基准任务干扰时的执行表现。并发结果则检验资源必须共享时会发生什么。处理器在第一种条件下可能表现普通，却在第二种条件下变得具有吸引力。

这正是资源争用进入故事的地方。争用发生在活跃任务竞争共享资源时，例如内存访问或执行容量。即使每个任务单独运行时表现尚可，它也可能限制进展。

因此，Vera 与 x86 的比较需要附带运行条件。在这里，x86 指的是所讨论 Intel 和 AMD 系统使用的指令集家族。有意义的主张针对的是负载下的测试工作负载，而非对指令集家族的普遍排名。

服务器运营商还需区分吞吐量和延迟，后者是完成一项任务所需的经过时间。更高吞吐量固然有用，但若接受无限延迟，这项测量在商业上就会产生误导。容量还需要配套的响应性标准。

设想一项共享服务总体完成了更多任务，但一部分客户等待时间大幅增加。总体吞吐量会提升，但该服务可能变得不那么适合交互式工作。买家需要足够细节来识别这种可能性。

该基准测试的验证要求解决了另一项担忧：未完成或错误的执行不应抬高结果。不过，通过这些精选检查并不能证明更广泛的模型准确性。参考解答移除了决定智能体推理质量的决策过程本身。

预构建环境同样界定了范围。测量前准备软件可减少设置干扰，并有助于隔离执行过程。它不会衡量客户在启动全新环境或获取依赖项时遇到的每一种延迟。

对于有针对性的硬件实验而言，这些选择是合理的。只有在结果被表述为衡量所有智能体行为的端到端指标时，才会造成问题。聚焦的基准测试应支持聚焦的结论。

Nvidia Vera 基准测试为进一步评估提供了有益理由，因为其测试设计可供检视。利用披露的硬件和设置复现结果，将增强其可信度。将实验扩展至实际服务流量，则会回答另一个同样必要的问题。

Vera 与 x86 的比较包括支持另一种架构的成本

Vera 使用 Arm，这是一种不同于 Modal 现有机群背后 x86 软件目标的指令架构。Nvidia 的Vera CPU 架构将该处理器定位为既适用于独立服务器，也适用于与加速器配对的系统。这使其成为通用执行基础设施的直接候选者，而不仅仅是购买 GPU 时附带的配件。

有利的处理器测试结果，必须超过为支持另一软件目标而需要投入的工程与运维工作。

兼容性首先取决于所需软件能否正确运行。源代码可移植性固然重要，但应用程序还依赖其库、构建工具和打包组件。成功迁移必须涵盖整个运行环境。

容器打包并不会消除这种差异。容器会将软件及其依赖项打包在一起，但其中的可执行组件仍需支持底层架构。因此，在不同机器之间迁移同一个软件包，可能仍需要重新构建或替换部分组件。

所需工作不止是让演示程序跑起来。运维人员需要可重复的构建流程、清晰的故障诊断方式，以及对更新能够保留预期行为的信心。每增加一个受支持的平台，工程师需要理解的组合就会随之增加。

因此，继续保留 Intel 和 AMD 具有现实逻辑。现有工作负载可以继续使用熟悉的目标平台，而兼容的工作负载则可成为 Vera 的候选对象。这种方式让采用决策基于已验证的适用性，而非要求全面转换。

这也会让调度变得更复杂，即将工作分配给可用机器的过程。混合型集群需要把每项任务发送到能够运行它的硬件上。存在于不兼容机器上的容量，无法自动满足等待中的任务。

当需求发生变化时，这一限制尤为重要。新增 Vera 服务器或许可以扩展某一类工作负载的容量，却可能让另一类工作负载仍然受限。因此，评估整个集群不能只把所有可用处理器简单相加。

竞争比较应当认识到这种不对称性。Intel 和 AMD 的优势在于已经支持 Modal 现有的软件环境。Nvidia 必须提供足够的价值，才能证明那些现有选项无需承担的工作是合理的。

与此同时，兼容性并不是对另一种架构的永久否定。当反复出现的运营收益超过持续负担时，工程投入便可能值得。这个门槛取决于工作负载规模、软件可移植性，以及运营方维护支持的能力。

这也是为什么 Vera 与 x86 的比较应当是一项采购分析，而非架构忠诚度之争。指令集家族并不能决定所有结果。处理器设计、内存配置、软件和部署条件都会影响结果。

另一种基于 Arm 的替代方案的存在，本身也无法复现 Vera 的行为。共享同一指令架构建立的是兼容关系，而不是相同性能。买方仍需要从实际计划运行的系统中获得测量结果。

对于记录迁移决策的开发人员而言，一个可搜索的知识库可以保留测试条件和兼容性发现。这些记录有助于区分已观察到的硬件收益，与部署规划期间引入的假设。

Modal 的举措为 Nvidia 创造了机会，因为该公司愿意审视这些权衡。它也让 Intel 和 AMD 继续发挥作用，因为合适的硬件既要满足软件要求，也要实现性能目标。

2 倍结果仍留下重要的采购问题

Tom’s Hardware 的处理器采用报道指出，Modal 将保留 AMD 和 Intel CPU。报道还提到配置细节和能耗比较方面存在缺口。当把内部测试转化为更广泛的采购建议时，这些限制十分重要。

现有证据支持一种针对特定工作负载的机会，但尚未确立普适性的性能或能效排名。

次要标题将 Intel 和 AMD 放在一起讨论，但 Modal 最明确的数值表述指出的是并发负载下与 Intel 的比较。读者不应默默将这一结果转换为相对每一款 AMD 处理器都具有相同优势。

“等效”一词也无法解释完整的比较。买方需要了解等效的含义：可比的处理器资源、相似的系统容量，还是另一项选定约束。不同定义可能导致对同一测量结果的不同解读。

内存值得特别关注。内存带宽衡量的是在一段时间内可通过内存系统传输的数据量。如果某项工作负载反复等待数据，仅增加执行能力未必能解决其限制因素。

这一观察提出了一个合理的评估问题，而不是对 Vera 精确优势的证明。将结果归因于内存，需要能将内存行为与其他系统差异区分开的证据。仅凭吞吐量图表无法确立完整的因果解释。

能效需要单独测量。完成更多工作的机器也可能消耗更多电力。反过来，它也可能以更低的总体能耗完成有用工作。在没有相应功耗数据和明确测量周期的情况下，吞吐量并不能自动得出任何一种结论。

商业效率的范围更广。运营方必须同时考虑采购、部署、支持和利用率，以及电力成本。没有公开结果表明客户将获得相应的服务费用下降。

可靠性也属于比较的一部分。受控运行中的更快完成速度，并不能说明维护行为、故障恢复能力，或在更大规模部署中的一致性。这些因素会影响多少测得容量最终能成为可靠的客户容量。

围绕排除网络和模型延迟存在方法论上的张力。这样做会让处理器比较更纯粹，但也限制了该结果对预测智能体总完成时间的直接性。

由远程响应主导的应用程序，可由 CPU 改进节省的时间更少。由本地执行主导的应用程序，则有更充分的理由研究这一结果。因此，同一硬件发现对不同客户的意义可能不同。

这并不会使基准测试失效。隔离某个组件是理解其贡献的常规方法。错误在于，未测量应用程序本身，就将组件的测得收益套用于整个应用程序。

竞争产品的代际变化带来了另一个动态目标。部署决策应比较在相关交付时间表内可获得的系统。相对于一台已部署机器的结果，无法决定同一供应商后续产品的表现。

审慎的结论是明确的：Modal 已经提供了测试 Vera 并发执行能力的可信理由，但公开证据尚未解决每一项采购标准。这足以让采用消息具有意义，而无需将其视为整个市场的结论。

关注部署、独立复现和竞争对手回应

下一步证据应将所报告的执行收益与可用容量、可复现测量结果和当前采购替代方案联系起来。

首先，关注 Modal 明确的部署计划。支持公告应说明哪些工作负载可以使用 Vera、容量将在哪些地方提供，以及适用哪些兼容性要求。这些细节将显示评估如何转化为客户服务。

最强的采用信号，将是常规工作负载通过客户已依赖的同一运营流程成功运行。范围狭窄的预览仍然代表进展，但它只支持关于准备程度和规模的更有限结论。

仅有可用性并不能证明吞吐量优势能够持续。有效的后续证据应描述代表性需求下的行为，包括完成时间和失败执行情况。这会将硬件发现与客户能够识别的结果联系起来。

其次，关注具有清晰配置的独立复现。另一位评估者应披露机器、软件设置、工作负载选择和完成规则。如果不提供这些条件，只是重复一个标题数字，会增加可见度，却几乎无法带来验证价值。

如果优势在测试条件的合理变化下仍然存在，复现将增强这一论点。即使增益较小，仍然具有参考价值。它将帮助买方识别原始结果可适用的范围，以及其依赖特定设置的地方。

生产环境测量将增加另一层证据。基准测试通过排除干扰来隔离问题；服务则必须在这些干扰存在的情况下运行。两种形式的证据都很重要，但应保留各自不同的用途。

第三，关注 Intel 和 AMD 如何回应采购问题。相关回应应是在买方实际能够获得的系统上，对可比的智能体执行工作负载进行性能测试。另一项基准测试的胜利可以提供背景，却无法直接解决 Modal 的发现。

竞争性测试还应保留单个任务与繁忙主机之间的区别。更快的孤立执行可能很有价值，但它并不会自动解决容量问题。同样，更高的总体容量也需要可接受的响应时间表现。

未来几个月，这些信号将扩大或缩小 Modal 决策的重要性。明确的部署计划和独立确认将增强 Nvidia 的论点。持续的兼容性限制或工作负载特定结果，则会限制其影响范围，但不会抹去最初的发现。

对于评估 AI 基础设施的读者，应从工作流程中耗时的部分开始。要求供应商区分模型延迟、软件执行和等待共享容量。将经过测试的工作负载和硬件配置附在每一项性能声明旁边。当 Modal 采用 Nvidia Vera CPU 时，可采取行动的问题是：这一选择将如何影响您所使用服务上的有效工作。关注部署进展，检查可复现结果，并比较当前替代方案，再将某个吞吐量比率视为普遍采购规则。对您的应用程序而言，什么更重要：更快的单次执行、更多并发任务，还是平台繁忙时更稳定的完成表现？