Swarms Logo
产品

在 Swarms Cloud 上并排对比智能体(Compare Agents)

Swarms Cloud 全新的 Compare 工具,让团队可以用两到六种智能体配置同时运行同一任务,在投入生产之前直接并排查看真实成本、Token 用量与输出差异。

Swarms 团队5 分钟阅读
在 Swarms Cloud 上并排对比智能体(Compare Agents)

为一个智能体(Agent)选择合适的模型、提示词和配置,很少是一锤定音的决定。团队经常需要知道:GPT-5.4 和 Claude Opus 4.5 在某项具体任务上到底谁表现更好;一次微小的提示词改动是否真的提升了输出质量;又或者某个更便宜的模型对于特定工作负载是否已经"够用"。要回答这些问题,过去通常意味着打开好几个浏览器标签页,手动对每个选项运行相同的提示词,再凭肉眼比较结果——这种方式既无法规模化,也没有留下任何关于测试内容的记录。

Swarms Cloud 全新推出的 Compare 工具正是为了填补这一空白而生,现已上线 cloud.swarms.world/compare。它允许用户配置多个相互独立的智能体,让同一个共享任务同时在所有智能体上运行,并将每个智能体的输出、成本与 Token 用量并排呈现。

Compare 究竟做什么

Compare 并不是一份静态的模型定价表或基准测试分数汇总,而是一个真实运行的智能体对智能体(Agent-vs-Agent)执行对比工具。每一次对比都由若干个独立的智能体列构成,每一列都是一个完整的、可独立配置的智能体:拥有自己的模型、自己的系统提示词(System Prompt)、自己的角色,以及自己的生成参数,比如温度(Temperature)、最大 Token 数和最大循环次数(Max Loops)。

列的上方是一个共享的任务输入框。在这里填写的内容,就是运行对比时发送给每个已配置智能体的共同提示词,因此这项测试中真正的变量是智能体本身,而非任务。这正是这款工具的核心理念:固定任务不变,改变其他一切因素,然后观察结果如何变化。

用户可以在单次对比中运行两到六个智能体。之所以设定两个为下限,是因为对比至少需要两个对象;而六个作为上限,则是为了让界面布局保持清晰、运行速度保持高效。在这一范围内,列可以随意添加或移除,每一列既可以从零开始配置,也可以通过可搜索的选择器即时导入此前保存过的智能体配置——这样一来,团队就不必重新构建那些已经在平台其他地方调优过的智能体。

运行一次对比

只要配置好至少两个智能体并输入任务,点击"Run comparison"(运行对比)就会并发调度所有智能体,而不是逐个顺序执行。每个智能体的调用都是独立处理的,因此如果某一个配置出错——无论是提示词格式有问题,还是某个模型本身的问题——其余的运行不会受到影响,会照常完成并报告各自的结果。这一点在实践中至关重要:如果单次失败就要迫使整个测试重新开始,那么一次涵盖六个模型的对比就失去了意义。

每一次运行都是对 Swarms Agent Completions API 的真实调用——这正是驱动平台上其他单智能体执行功能的同一个生产环境接口。Compare 背后没有任何模拟数据或缓存数据。你所看到的,就是该配置在实际部署后会返回的真实结果。

展示哪些内容

每个智能体完成后,其对应的列会填充三项直接来自 API 响应的数字:耗时、消耗的总 Token 数,以及以美元计的总成本。这些数据下方是该智能体的原始输出文本,并配有一键复制按钮,方便将任意一条回复单独取出做进一步审查。

值得注意的是,Compare 刻意不去评判"谁赢了"。它不会为"最低成本"加高亮,不会给"最快响应"打标签,也不会给出综合评分。每一列只报告属于自己的数字,至于哪种配置真正更适合当前任务,这一判断留给运行对比的人来做。对于企业级的评估流程而言,这才是正确的默认做法:成本、延迟和输出质量之间的取舍因场景而异,如果工具在背后悄悄地替用户选出一个"赢家",那就是在对它无从得知的优先级做出假设。

这对生产决策为何重要

生产系统中的模型选型决策通常一旦做出就要伴随团队数月之久。一旦选错——选了一个比实际需要更贵的模型,或是一个输出不稳定的提示词——都会带来持续不断的实际成本。Compare 把这个决策从凭直觉判断,变成了在任何代码上线之前,就可以用真实数字直接验证的事情。

以下是团队目前已经在实际使用的几种典型场景:

  • 模型选型。 用相同的系统提示词和角色去配置多个候选模型,观察它们在具体任务上真实的成本与延迟差异,而不是依赖那些未必能反映特定工作负载的公开基准测试。
  • 提示词迭代。 让同一个智能体的两个版本(仅系统提示词不同)运行同一个任务,评估提示词的改动是否真正提升了输出质量,而不只是改变了输出。
  • 成本层级评估。 测试一个更低成本的模型,在给定任务上能否产出与高端模型相近、可接受的结果,从而判断在规模化场景下多花的钱是否值得。
  • 角色与参数调优。 对比温度、最大循环次数或角色分配(worker、manager、executor、analyst)如何在同一底层任务上改变智能体的行为。

由于每次对比都直接调用 Swarms Cloud 上其他地方已保存的同一批智能体配置,团队也可以把 Compare 当作上线前的"飞行前检查":在把某个配置接入生产工作流或 Workflow Builder 之前,先在这里验证一遍,在迭代成本还很低的阶段就发现问题。

快速上手

Compare 现已面向所有 Swarms Cloud 用户开放。配置两个或更多智能体,输入任务,然后直接在 cloud.swarms.world/compare 上运行对比。无论是通过 cloud.swarms.world/agents 还是在平台其他地方构建或保存的智能体,都可以一键导入到对比中,无需从零重新搭建配置。

与 Swarms Cloud 上的其他所有执行类功能一样,Compare 运行所产生的用量会完整呈现在 Token 用量仪表盘 中,让评估本身的成本与生产流量的成本同样保持透明可见。

相关链接与资源

资源链接
对比智能体(Compare Agents)cloud.swarms.world/compare
管理智能体cloud.swarms.world/agents
用量页面cloud.swarms.world/token-usage
文档docs.swarms.ai
Discord 社区discord.gg/VapjxpSyHC

有任何问题或反馈?欢迎加入我们的 Discord 社区,或查阅我们的文档