傳統 LLM 評估：
  輸入 -> LLM -> 輸出 -> 對比答案 -> 分數

Agent 評估（多層次）：
  任務目標
      |
      v
  Step 1: 規劃品質（Plan Quality）
      |
      v
  Step 2: 工具選擇正確性（Tool Correctness）
      |
      v
  Step 3: 工具執行正確性（Argument Correctness）
      |
      v
  Step 4: 狀態維護（State Management）
      |
      v
  Step N: 最終結果（Task Completion）
      |
      v
  效率評估（Step Efficiency / Token Cost）

python
from langsmith import Client

client = Client()

dataset = client.create_dataset(
    dataset_name="agent_eval_v1",
    description="Agent evaluation test cases"
)

client.create_examples(
    inputs=[
        {"query": "查詢台積電近一周股價走勢"},
        {"query": "發送 Slack 通知給 #engineering 頻道"},
    ],
    outputs=[
        {"expected_tools": ["search_stock"], "must_contain": ["TSMC", "trend"]},
        {"expected_tools": ["slack_send"], "channel": "#engineering"},
    ],
    dataset_id=dataset.id
)

python
from langsmith.evaluation import LangChainStringEvaluator

eval_prompt = """
你是一位 AI Agent 評估專家。根據以下標準對 Agent 回應評分（0-10）：
- 任務完成度（0-4分）：Agent 是否達成用戶目標？
- 工具使用正確性（0-3分）：選用的工具是否適當？
- 回應品質（0-3分）：輸出是否清晰、無幻覺？

任務：{input}
Agent 回應：{output}

請給出總分（0-10）並說明理由。
"""

evaluator = LangChainStringEvaluator(
    "score_string",
    config={"criteria": eval_prompt, "normalize_by": 10},
    prepare_data=lambda run, example: {
        "input": example.inputs["query"],
        "output": run.outputs["output"]
    }
)

python
from langsmith.evaluation import evaluate

results = evaluate(
    lambda inputs: my_agent.invoke(inputs["query"]),
    data=dataset.name,
    evaluators=[evaluator],
    experiment_prefix="agent_v2_test",
    metadata={"model": "gpt-4o", "version": "2.0"}
)

print(f"平均分數：{results.aggregate_metrics['score']:.2f}")
print(f"任務完成率：{results.aggregate_metrics['completion_rate']:.1%}")

python
BASELINE_SCORE = 7.5
REGRESSION_THRESHOLD = 0.5

current_score = results.aggregate_metrics['score']
if current_score < BASELINE_SCORE - REGRESSION_THRESHOLD:
    send_alert(
        f"Agent 效能退化！"
        f"基準分：{BASELINE_SCORE}，當前分：{current_score:.2f}"
    )