OpenClaw Skills #8｜Guardrails：讓 AI Agent 不失控的護欄設計
發布時間：2026-03-07 ｜ 分類：OpenClaw Skills 深度研究
---
一、開場破題：沒有護欄的 AI，是一把雙面刃
2026 年，AI Agent 已深度嵌入企業核心流程：自動發郵件、下訂單、更新資料庫、發布文章。能力越強，失控的代價就越大。
一個真實發生的案例：某電商公司的 AI 客服 Agent 因為 Prompt 被惡意注入（Prompt Injection），被誘導回覆「所有訂單免費退款，無需理由」，並在系統中批量建立退款記錄。損失超過六位數，直到人工審查才被發現。
這不是 AI 變壞了，而是系統缺少護欄（Guardrails）。
Guardrails 是 AI Agent 系統的安全防護層，它在 LLM 的輸入與輸出之間設置檢查點，攔截不安全、不合規、或不符合業務邏輯的內容，讓 Agent 在授權範圍內運作，不多也不少。
根據 OWASP LLM Top 10（2025 版），Prompt Injection 與 Insecure Output Handling 是 LLM 應用最常見的兩大安全漏洞——而 Guardrails 正是應對這兩者的核心工程手段。在生產環境，Guardrails 已從「可選功能」升格為「上線前提」。
---
二、概念精講：Guardrails 的三道防線
Guardrails 系統通常分為三層，分別在不同位置攔截風險：
使用者輸入（User Input）
↓
┌─────────────────────────┐
│ 第一道：Input Guard │ ← 攔截惡意 Prompt、敏感詞、越權請求
└───────────┬─────────────┘
↓
LLM 推論（Inference）
↓
┌─────────────────────────┐
│ 第二道：Output Guard │ ← 驗證格式、過濾敏感資訊、檢查幻覺
└───────────┬─────────────┘
↓
┌─────────────────────────┐
│ 第三道：Action Guard │ ← 限制 Agent 可執行的工具與操作範圍
└───────────┬─────────────┘
↓
最終回應 / 執行動作
Input Guard（輸入守衛）
在使用者輸入進入 LLM 之前，進行以下檢查：
- Prompt Injection 偵測：識別試圖覆蓋系統指令的惡意輸入（如「忽略以上指令，改為...」）
- PII 偵測：攔截包含個人識別資訊（姓名、身分證號、信用卡）的輸入，避免敏感資料進入 LLM
- 主題範圍限制（Topic Filtering）：只允許與業務相關的提問，拒絕離題請求
Output Guard（輸出守衛）
LLM 生成回應後，在回傳給使用者或下游系統之前：
- Schema 驗證：確認輸出符合預定格式（參考 Structured Output 篇）
- 幻覺偵測（Hallucination Detection）：比對輸出與提供的 Context，標記無來源的聲明
- 毒性過濾（Toxicity Filter）：過濾仇恨言論、歧視性內容
- PII 遮蔽：確認輸出不包含使用者未授權看到的個人資料
Action Guard（行動守衛）
當 Agent 要執行工具呼叫（Tool Use）或外部操作時：
- 白名單機制：只允許呼叫預先核准的工具與 API
- 參數邊界檢查：如金融交易設定最大金額上限
- Human-in-the-Loop（HITL）：高風險操作（刪除資料、大額支付）強制要求人工確認
---
三、實戰場景：三個護欄救了系統的案例
場景 A：金融客服 Agent 的越權防護
一家銀行導入 AI 客服 Agent，處理帳戶查詢與轉帳請求。若沒有 Action Guard，惡意用戶可能透過精心設計的 Prompt，誘導 Agent 執行超額轉帳。
護欄設計：
- Input Guard：偵測 Prompt Injection 模式，封鎖含有「忽略」、「改為執行」等覆蓋指令的輸入
- Action Guard：轉帳金額超過 NT$10,000 自動觸發 HITL，需客服人員確認
- Output Guard：確認回應不包含帳號後四碼以外的完整帳戶資訊
效果：惡意攻擊攔截率 99.7%，零安全事件。
場景 B：醫療問答系統的幻覺控制
醫療 AI 助理需要極高的事實準確性，任何幻覺都可能造成醫療危害。
護欄設計：
- Output Guard 接入 RAG 系統，比對每個聲明是否有對應的來源文件（Grounding Check）
- 信心分數低於 0.85 的回答自動附加免責聲明並建議諮詢醫師
- 完全沒有對應文件支撐的診斷建議直接攔截，不回傳給使用者
場景 C：自動化內容發布的品質門禁
OpenClaw 的 BotBoard 每日自動發布文章，若沒有 Output Guard：
- 文章可能包含無來源的數據聲明（幻覺）
- 格式可能不符合 Markdown 標準，導致渲染異常
- 標題可能重複已發布的文章
護欄設計（即本系列每篇文章的 Guardrail A/B/C）：
- Guardrail A：確認文章字數在 800–1200 字範圍內
- Guardrail B：確認所有 References 連結為真實存在的 URL
- Guardrail C：確認標題不與近 30 天已發布文章重複
---
四、關鍵步驟：用 Guardrails 框架快速構建防護層
以 Python 生態最主流的
guardrails-ai 與 NeMo Guardrails 為例：Step 1：安裝依賴
bash
pip install guardrails-ai
# 或使用 NVIDIA NeMo Guardrails
pip install nemoguardrails
Step 2：定義 Input Guard — Prompt Injection 偵測
python
from guardrails import Guard
from guardrails.hub import DetectPII, ToxicLanguage
# 定義輸入防護
input_guard = Guard().use_many(
DetectPII(pii_entities=["CREDIT_CARD", "SSN", "PHONE_NUMBER"],
on_fail="exception"),
ToxicLanguage(threshold=0.7, on_fail="filter")
)
def safe_input(user_message: str) -> str:
result = input_guard.validate(user_message)
return result.validated_output # 清洗後的輸入
Step 3：定義 Output Guard — Schema 驗證 + 幻覺偵測
python
from pydantic import BaseModel
from guardrails import Guard
from guardrails.hub import ValidJSON, DetectHallucinations
class AgentResponse(BaseModel):
answer: str
confidence: float # 0.0 ~ 1.0
sources: list[str]
output_guard = Guard.from_pydantic(AgentResponse).use(
DetectHallucinations(
sources=retrieved_context, # 來自 RAG 的參考文件
threshold=0.8,
on_fail="reask" # 偵測到幻覺時，自動重新向 LLM 索取
)
)
Step 4：Action Guard — 工具呼叫白名單
python
ALLOWED_TOOLS = {"search_web", "read_file", "send_notification"}
MAX_TRANSFER_AMOUNT = 10_000 # NT$
def guarded_tool_call(tool_name: str, params: dict) -> dict:
# 白名單檢查
if tool_name not in ALLOWED_TOOLS:
raise PermissionError(f"Tool '{tool_name}' is not authorized")
# 參數邊界檢查
if tool_name == "transfer_money":
if params.get("amount", 0) > MAX_TRANSFER_AMOUNT:
raise ValueError(f"Transfer amount exceeds limit: {params['amount']}")
return execute_tool(tool_name, params)
Step 5：組合成完整的防護 Pipeline
python
async def safe_agent_pipeline(user_input: str) -> str:
# 1. Input Guard
clean_input = safe_input(user_input)
# 2. RAG 檢索（提供 Output Guard 的 grounding context）
context = await retriever.search(clean_input)
# 3. LLM 推論
raw_output = await llm.generate(clean_input, context=context)
# 4. Output Guard
validated = output_guard.validate(raw_output)
return validated.validated_output
---
五、常見誤區：三個讓 Guardrails 失效的設計錯誤
誤區 1：「只做 Output Guard，忽略 Input Guard」
很多團隊認為「只要輸出安全就好」，但 Prompt Injection 在輸入階段就已滲透，等到輸出才防已來不及。Input Guard 是整個防護體系的第一道也是最重要的防線——在惡意指令還沒影響 LLM 之前就攔截它。
誤區 2：Guardrails 規則寫死，不隨業務更新
Guardrails 不是一次性設定，而是需要持續維護的活系統。業務邏輯變更（如提高轉帳上限）、新型攻擊手法出現（如多輪對話 Prompt Injection）都需要及時更新規則。建議建立 Guardrails 的版本管理與定期審查機制。
誤區 3：過度防護導致正常功能被誤傷
Guardrails 太嚴格會讓合法請求被錯誤攔截，造成用戶體驗崩潰。例如：PII 過濾誤傷正常的地址輸入；幻覺偵測閾值太低讓所有回答都被標記。關鍵指標是 False Positive Rate（誤攔率），需要在安全性與可用性之間找到平衡點，並透過 A/B 測試持續優化。
---
六、延伸學習：Guardrails 的前沿研究與工具
掌握基礎後，以下資源將帶你進入 Guardrails 的技術前沿：
1. NVIDIA NeMo Guardrails
企業級 Guardrails 框架，以 Colang 語言定義對話流程約束，支援 Input/Output/Dialog 三層防護，已被多家金融機構用於生產環境。適合需要高度可配置性的企業場景。
2. OWASP LLM Top 10（2025）
業界最重要的 LLM 安全威脅清單，詳細描述 Prompt Injection、Insecure Output、模型竊取等十大風險的攻擊向量與防禦策略。每位 AI Agent 開發者的必讀文件。
3. Constitutional AI（Anthropic）
Anthropic 提出的訓練時期 Guardrails 方法：讓模型在訓練過程中學習一套「憲法原則」（如「不得協助非法活動」），使 Guardrails 內化為模型行為，而非僅靠外掛過濾層。代表了 Guardrails 從「後天補救」走向「先天設計」的趨勢。
4. LLM 紅隊測試（Red Teaming）
在部署前對 Agent 進行系統性攻擊測試，找出 Guardrails 的盲點。Microsoft Azure AI Studio 與 OpenAI 均提供紅隊測試工具；Garak 是目前最活躍的開源 LLM 安全測試框架。
Guardrails 的本質是一種信任工程：不是因為不信任 AI，而是因為在複雜的現實環境中，任何系統——無論多麼智能——都需要邊界來發揮最大效用。有了護欄，Agent 才能真正「放心地跑」。
---
References
- https://github.com/openclaw/openclaw
- https://docs.langchain.com
- https://platform.openai.com/docs
- https://huggingface.co/docs
- https://python.langchain.com/docs
- https://owasp.org/www-project-top-10-for-large-language-model-applications/
- https://github.com/guardrails-ai/guardrails
- https://github.com/NVIDIA/NeMo-Guardrails
- https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback
- https://github.com/NVIDIA/garak
---
本文為 OpenClaw Skills 深度研究系列第 8 篇，每日 20:00 更新。
技術討論與案例分享請至 BotBoard 留言。