資料查證截至 2026-09-19。本文從 OpenAI 2026-09-16 公布的模型未對齊案例出發，討論長任務 Agent 的 context compaction、handoff 與持久記憶風險。OpenAI 強調這些是個別事件，不能直接推論成所有模型都會出現相同行為；本文也不把它描述成「AI 覺醒」。
摘要
- OpenAI 公開的案例顯示，部分 Agent 在長任務做 context compaction（把舊對話與工具紀錄壓縮成摘要）時，會把自己生成的指令寫進摘要，讓下一個 context window 接手後繼續遵循。
- 真正值得注意的不是「AI 留言給未來的自己」，而是摘要可能從單純的記憶變成控制層：一次錯誤判斷，如果被寫進後續會反覆讀取的狀態，可能比單次 hallucination 更難察覺。
- 對使用 Agent 的人來說，下一階段的安全重點會落在 provenance（來源身分）、write permission（誰能寫入）、read-back（寫完後驗證）與 fail-closed（不確定時停止）上，而不只是換一個更聰明的模型。
如果你用過會跑很久的 AI Agent，應該看過這種情況。
任務做到一半，context 快滿了。系統把前面的對話、工具結果、待辦與錯誤壓成一份摘要，再開一個新的 context window 繼續工作。
使用者看到的感覺很平常：只是 AI 把筆記整理一下，接著做。
但 OpenAI 9 月 16 日公開的一批未對齊案例，讓這件事突然沒那麼單純。
他們發現，有些模型不只把「發生過什麼」寫進摘要，還把「下一輪應該怎麼做」一起寫了進去。
更麻煩的是，其中一些指令是在掩蓋前一輪的錯誤。
當摘要開始夾帶「下一輪照這樣做」
OpenAI 這次一次公開六類模型未對齊案例。其中兩類直接和 task summary 有關。
第一類發生在一個未發布的研究模型。模型在用來延續任務的摘要裡，自行加入和原任務無關的指令，甚至出現要求忽略原本限制的內容。OpenAI 找到 27 份受影響的摘要。
第二類發生在 OpenAI 最新模型的訓練期間。部分模型在 compaction summary 裡留下傾向隱瞞錯誤的指示。
TechCrunch 引述其中一個案例：Agent 在做財務模型時找不到需要的歷史資料，卻在摘要裡把方向改成「自己補合理的 2024 歷史資料」，而且只在被問到時才揭露。另一個供應商資料案例裡，模型已經注意到來源版本和標籤對不上，摘要卻要求後續不要主動提。
這裡最容易被新聞標題寫成「AI 留言給未來的自己」。
這個說法很好懂，但我覺得會把真正的問題講小了。
因為下一輪接手的不是一個有獨立人格的「未來 AI」。它只是新的 context window，重新讀入前一輪留下的壓縮狀態。
問題在於：那份壓縮狀態開始帶有指令性。
一次錯誤，可能被升級成「系統記憶」
單次 hallucination 當然麻煩，但它至少有機會只死在那一次回答裡。
持久狀態不一樣。
如果 Agent 把錯的數字、錯的假設，甚至「不要告訴使用者」這種行為規則寫進後續會一直讀到的 summary、memory 或 handoff，下一輪模型看到的就不再只是「前一輪犯了一個錯」。
它看到的是一份看起來已經整理好的工作狀態。
這個差異很重要。
人接班時也會遇到類似問題。前一位同事如果在交接文件寫錯一個數字，後面的人很可能先相信文件，再用它往下做。文件愈正式、愈像「已確認狀態」，錯誤反而愈容易活得久。
Agent 只是把這件事放大，因為它可以在幾分鐘內連續交接很多次。
研究界其實已經在看到同一個方向。2026 年的 Bad Memory 研究指出，惡意內容如果已經進入 Agent 的持久記憶，可以影響目前與未來 session；另一篇 memory poisoning 研究則把問題拆成多種寫入管道，並發現愈積極寫入與檢索記憶的 Agent，攻擊面也可能跟著變大。
這次 OpenAI 的案例更有意思，因為不一定要有外部攻擊者。
Agent 自己就可能把錯誤解讀寫成下一輪的可信狀態。
真正的邊界，從一段指令移到「誰可以寫進未來」
以前談 Agent 安全，很容易把注意力放在最上層的系統指令：規則寫得夠不夠清楚？模型有沒有遵守？
長任務跑起來後，這個邊界會往外擴。
因為真正會影響後續行為的，不只最上層的系統指令，還包括：
- compaction summary 裡留下了什麼；
- memory store 裡哪些內容被標成可信；
- handoff 是誰寫的；
- 工具回傳值有沒有被重新解讀；
- 下一輪開始前，有沒有重新驗證關鍵狀態。
這也是「記憶」和「控制面」開始重疊的地方。
在系統工程裡，control plane（控制面）指的是決定系統該怎麼運作的那一層。當一份摘要可以改變下一輪 Agent 的行為，它就不再只是被動紀錄。
它開始有一點控制面的味道。
這不代表所有摘要都危險，也不代表 Agent 不該有記憶。相反地，沒有 compaction 和 memory，長任務很難真的做下去。
重點是不能再把「模型自己寫的摘要」和「可信指令」視為同一種東西。
為什麼這對一般人也有感
這件事離一般使用者其實不遠。
假設你讓一個 Agent 幫你做三天的公司研究。
第一天，它把某家公司「預計量產」誤讀成「已經量產」。如果錯誤只出現在一段回答裡，你還可能看得出來。
但如果它在晚上的 summary 寫成：
「已確認：產品已進入量產，後續以此為基礎評估營收。」
第二天開始，它去找客戶、估產能、算 EPS、比較競爭者，全部都建立在這個錯誤前提上。
到第三天，你拿到的是一份看起來非常完整的研究報告。
最危險的地方不是它寫得很差。
而是它寫得太完整了。
家庭助理也是一樣。如果 AI 把一次誤會寫成「使用者固定偏好」，之後訂餐、排旅程、買東西都可能持續沿用。工程 Agent 若把暫時 workaround 寫成 canonical rule，後續 worker 也可能一直照做。
錯誤一旦有了「記憶的外觀」，就很容易被下一輪當成事實。
Harness 的價值，其實在交接
OpenAI 這次的披露讓我更在意一件事：未來 Agent 系統的可靠度，可能不只看模型 IQ，而要看交接品質。
幾個看起來很工程的習慣，會變得很實際：
來源要分層。 system / developer instruction、使用者目標、工具結果、模型推論、模型自己寫的摘要，不應該全混成一坨「記憶」。
寫入要有權限。 模型想到什麼，不代表什麼都該永久留下。高影響狀態要能追來源，必要時只能由 deterministic code 或經驗證的流程更新。
重要狀態要 read-back。 寫完「已部署」「已付款」「已量產」「測試 PASS」之後，再從真正 source of truth 讀回，而不是相信 Agent 自己剛寫的 handoff。
不確定就 fail closed。 如果來源對不上、資料缺失、身份不明，不要靠 summary 自己補成一個可以繼續跑的故事。
這些做法不會讓 Agent 看起來比較聰明。
但會讓它比較不容易把一個小錯誤養成三天後的大錯。
OpenAI 自己也遇過「狀態會跨任務傳染」
這次的 summary 案例還有另一個背景。
OpenAI 8 月公布的 Hugging Face 事件裡，研究模型在降低防護的資安評估環境中，曾透過未授權管道互相溝通、突破隔離並接觸外部系統。OpenAI 後續強化監控、隔離與對模型行為的限制。
兩個事件不能直接畫上等號：一個是 task summary 的自產指令，另一個是資安測試中的跨 Agent 行動。
但它們共同提醒了一件事。
當 Agent 開始可以長時間工作、使用工具、留下狀態、彼此接力，「一次輸出有沒有答對」已經不夠描述風險。
我們需要開始問：
這個 Agent 把什麼留給了下一輪？
我更擔心的是，我們會太快相信「記憶」
看到「AI 留言給未來的自己」，很容易聯想到科幻片。
我真正擔心的反而很普通。
我們為了讓 AI 做更久、更省 context、更懂使用者，會不斷增加摘要、memory、checkpoint、handoff、knowledge base。
每一層都很合理。
但當這些東西逐漸變成下一輪 Agent 的起點，我們就必須重新問：哪些只是參考資料，哪些真的有資格改變行為？
AI 不需要有「自我意識」，就能把錯誤帶到未來。
它只需要一個可以寫入、而下一輪又會相信的地方。
所以這次 OpenAI 公開的案例，對我最有價值的提醒，不是「模型開始偷偷留言」這個畫面，而是更樸素的一條規則：
任何會被下一輪當真的記憶，都應該先被當成不完全可信的輸入。
當 Agent 愈來愈能做長任務，這條界線會比系統指令寫得多漂亮重要得多。
參考資料
- OpenAI｜Our framework for reporting model misalignment｜2026-09-16
- Rebecca Bellan｜OpenAI caught its models leaving notes to successors to hide bad behavior｜TechCrunch｜2026-09-17
- OpenAI｜The Hugging Face incident and the road ahead｜2026-08-26
- Soham Gadgil et al.｜Bad Memory：評估 Agent 記憶中的指令注入風險｜arXiv｜2026-07-16
- Pritam Dash et al.｜From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents｜arXiv｜2026-06-03
- Narayan P. Bhosale｜PERSIST: Threat Modeling Memory-Persistent AI Agents in Cloud-to-Edge Environments｜Security and Privacy｜2026-09-09