Skip to content

基准

Uni-CLI 的基准关注智能体真正付出的成本:发现命令要多久、返回内容有多大、失败后能不能定位和修复。

衡量什么

维度为什么重要
Discovery latency智能体先要找到正确命令。
Output size输出越小,后续推理越便宜。
Structured errors失败后能不能自动决定下一步。
Adapter coverage能操作多少真实软件。
Repairability命令坏了以后能不能局部修。

本地基准命令

bash
npm run bench
npm run bench:quick
npm run bench:agent
npm run bench:gate

证据边界

  • --version--helplist -f json 分别以全新 Node subprocess 测量;
  • fixture adapter 时间只代表进程内解析/序列化,不冒充 CLI 或网络延迟;
  • live adapter 时间包含真实 subprocess 与网络;
  • MCP 与 Browser Runtime Broker 等常驻进程的 warm latency 未在本页推断。

当前生成时间、运行环境、p50/p95 和完整结果见英文主报告 docs/BENCHMARK.md

当前公开指标

这些数字来自仓库生成的 stats.json 和静态 adapter manifest;固定 core 与主机动态发现命令不在下面的站点/命令总数中:

  • 326 个静态 adapter 站点。
  • 1829 条已注册 adapter 命令。
  • 980 个 schema-v2 YAML adapter。
  • 113 个 built-in action(58 个 registered + 55 个 transport-native)。
  • 9984 个测试。

数字随开发更新,以 npm run stats 生成结果为准。

输出大小

同一条命令可以按消费方选择格式:

bash
unicli hackernews top -f md
unicli hackernews top -f json
unicli hackernews top -f compact

人和智能体一起看时用 Markdown;脚本处理用 JSON;只做路由或摘要时用 compact。

失败成本

失败不是只有“报错”。好的失败应该告诉智能体:

  • 错误类型是什么。
  • 哪个 adapter 文件出问题。
  • 哪个 pipeline step 出问题。
  • 是否值得重试。
  • 有什么替代命令。

这也是 Uni-CLI 把错误包装进 AgentEnvelope 的原因。

基于 Apache-2.0 许可证发布