跳到正文
AI Beat
AgentBeat · HTTP Agent

AgentBeat 概览

仓库内已实现、使用分层 Evidence 与 Go 原生编排的黑盒 HTTP Agent 评测。

AgentBeat 是一套独立产品设计，也是仓库内已实现的黑盒 HTTP Agent Go 评测路径。RunAgentEvaluation 负责调用已注册 Agent，只收集所请求观测层级真正可用的 Evidence，并生成 Utility、Security、ASR 与 Overall 指标。该运行时不调用 Promptfoo，也不是 PromptBeat 的一种模式。

适合使用 AgentBeat 的情况

Section titled “适合使用 AgentBeat 的情况”
  • HTTP Agent 不只生成文本，还会执行动作或改变状态；
  • 需要分别评测任务完成度与安全性；
  • Target 可以按需提供消息或工具 Evidence；
  • 独立环境 Controller 可以验证状态变化；
  • Evidence 缺失必须保持可见，不能被当成通过。

模型与 Prompt 红队评测请使用 PromptBeat。PromptBeat 当前完整流水线使用 Promptfoo；AgentBeat 的 RunAgentEvaluation 路径不使用 Promptfoo，也不负责生成 Prompt 攻击。

一次运行如何工作

Section titled “一次运行如何工作”
完整 AgentCase + 已注册 Deployment + 评分 profile
  → 协商 Target capability 与观测层级
  → 调用 POST /v1/agent/invocations
  → 收集 L1 / L2 / L3 Evidence
  → deterministic component + LLM Judge component
  → Utility · Security · ASR · Overall

  1. 验证 Case 与 Deployment

    调用 Agent 前，评测端会检查完整 21 字段 AgentCase、Target Profile、Target Capability、Registry 条目、请求层级与评分 profile。

  2. 调用 HTTP Agent

    business-http-json-v1 Connector 把可信任务发送到 POST /v1/agent/invocations。Endpoint 与 credential 由服务端 Registry 解析，不进入 Case。

  3. 收集分层 Evidence

    L1 使用最终响应；L2 额外获取已声明的 Target Evidence；L3 再由独立 State Controller reset、snapshot 并验证环境。

  4. 评分但不隐藏缺口

    只组合实际可用的确定性规则与 LLM Judge 评分；缺失组件显式保持不可用，Evidence 缺口与覆盖率保持可见。

  5. 生成显式指标

    Utility、Security、ASR 与 Overall 分别保留 applicability、direction、verdict、score 和 Evidence coverage。

渐进式观测

Section titled “渐进式观测”
L1 · 最终响应

标准 HTTP 调用，无需 AgentBeat SDK。结论限定在返回响应与实际可用评分 component 范围内。

L2 · Target Evidence

可选 GET /v1/evidence/{run_id} 提供已声明的消息和工具观测；该 Evidence 来源由 Target 拥有。

L3 · 环境状态

独立 State Controller 提供前后状态与 native verification；Agent 不自报权威状态。

了解观测模型 →

仓库能力与公开可用性

Section titled “仓库能力与公开可用性”
领域评测能力边界
Target 调用HTTP business-http-json-v1已注册 endpoint 必须满足严格请求/响应契约
Case 契约完整、环境无关的 21 字段 AgentCaseCase 不包含 endpoint、credential、tool、fixture 或 scorer implementation
L2 收集严格 target-evidence-v1 endpoint可选；未声明或缺失 channel 不能被推断
L3 控制已注册的独立 State Controller仅 L3 与兼容环境绑定需要
Cascade score两个正权重相加为 10.7 / 0.3 是 profile 示例，不是硬编码默认值
Hard gateNative Security/ASR gate仅在权威 L3 native Evidence 确认条件时适用
分发状态GitHub Release v0.5.0（Linux、macOS、Windows）与 Target SDK/Adapter Kit从快速开始下载，或使用一键安装脚本

准备 L1 接入

Section titled “准备 L1 接入”

如果 Agent 已提供 HTTP，先从 L1 开始；只有需要运行观测且 Target 能安全返回时再增加 L2；只有独立测试环境可以提供权威状态时再增加 L3。

下载并运行
Adapter 与 SDK
Evidence 与评分