跳到正文
从这里开始

AI Beat 概览

两套分别面向模型/Prompt 与 HTTP Agent 边界的评测产品,并明确说明公开可用状态。

AI Beat 面向两类不同的系统边界开发评测工具。PromptBeat 评测模型与 Prompt 的响应;AgentBeat 评测 HTTP Agent 的最终响应,并在条件具备时评测其执行 Evidence 与环境影响。

任何一款都不是另一款的模式或前置条件。PromptBeat 已可公开下载,当前完整评测流水线使用 Promptfoo。AgentBeat 有独立的 Go RunAgentEvaluation 实现与 Target SDK/Adapter Kit,而且该路径不使用 Promptfoo。v0.5.0 起它作为 GitHub 正式 Release 发布,提供 agentbeat eval-run、preflight、score 和本地契约探针。

团队可以在完整应用中同时使用两者,但两次运行回答的是不同问题:

  • 模型或 Prompt 是否越过了响应边界?
  • Agent 是否在不越过行为或环境边界的前提下完成了任务?
  • **显式 Case:**输入和预期行为可审查,不被隐藏在 Dashboard 中。
  • **可检查结果:**命令和协议响应可以作为产物保留。
  • **证据范围:**结论必须说明实际观测到了什么。
  • **可重复运行:**稳定 Scenario 与 Dataset 支持模型、Prompt、策略或 Agent 变更后的回归。
  • **开放开发:**当前契约和开发仓库实现可审查;公开可执行包的可用性单独说明。

这些是共同原则,并不表示两个产品当前已经共用同一份配置 schema、Registry、报告或完整 CLI surface。

AI Beat 面向上线验收、红队测试与回归评测。它不会作为策略网关、防火墙或运行时拦截器常驻生产请求链路。