我的麻瓜 AI Agent 之路（Peggy Lo）
她形容自己是從零開始探索 AI 的麻瓜，而在生活的零碎時間中一步一步邁向 AI Agent 的世界。所以今天她要帶來的主題，就是《我的麻瓜 AI Agent 之路》。讓我們一同以掌聲歡迎，Peggy Lo 為我們帶來的分享。
第一個實驗：郭奶奶助理
從盲人媽媽的場地申請說起
雖然受過一些基本的盲人手機操作訓練，她會傳 LINE 的訊息，但是要到一個陌生的政府網頁登入填表還是太複雜了，所以每個月我媽都會請我幫忙。像這樣一個溫馨的女兒幫盲人媽媽代勞的故事，總是在我忙碌的時候，不小心演變成我遲遲拖延、被我媽追殺，彼此心裡時時都不太好受。
為了解決這個問題，去年我試著用 iPhone 的語音報讀功能教我媽自己完成登入，用聽的。後續再接一個我用 AI coding 出來的 JavaScript 書籤，完成自動化搶標。
（示範畫面）自動申請。開始申請 15 個時段。已完成 15 個時段申請。耶~~~~~
我媽作為街頭藝人 5 年了，每個月都要做場地的申請，這是她第一次靠自己的力量完成。
大家知道，人是有惰性的。但是在第一次的成功經驗之後，我媽其實陸續提出了不同的需求。我身為一個孝順、膽小、技術力不太足夠的麻瓜女兒，光想到這一個一個功能我要逐一開發，也不是所有的功能都能友善地放在手機裡面讓我媽操作，所以去年我收到的這些需求我通通都擱置了。直到今年初，我看到 OpenCode 龍蝦上線了，我就在思考：如果龍蝦作為一個有基本操作能力的助理，我能不能藉由它來降低原本我要逐一開發的負擔呢？
郭奶奶助理上線：在 LINE 裡下指令
帶著這樣的想法，以 OpenCode 為基礎做的郭奶奶助理 Agent 就上線了。這個助理唯一只服務一個人，就是我媽。現在我媽如果有任何的需求，不用再外連到任何其他的網頁，就在她原本已經熟悉的 LINE 裡面下指令。如果需要操作，助理就會連線到我放在我家的一台 Mac 電腦進行實質操作。
現在一樣想要上街頭表演嗎？輕鬆多了，她只要這樣做。
我媽：「大埔公園，1 號展演點，6 月 22 日上午 10 點。」全部都用說的。
助理：「街頭藝人登記完成了，目前已登記這幾天，6 月 22 日中午。」
旁白：「如果今天需要回醫院看診的時候，她只要這樣做。」
Alan：「預約國泰醫院、眼科、門診，7 月 1 日。」
Alan：「掛好了。7 月 1 日，星期三下午，總院眼科。」
旁白：「如果今天家裡收了一些日用品需要採購的時候。」
Alan：「上 PChome 買東西，先買洗髮精。」
採購比較複雜。PChome 採購情境有三種，經營修補、多項修補、陸地行程、平面馬跡種。第一種就跟我們一樣，會做很多來回的採購決策。
Alan：「總額是 890 元，送到那 i 家，刷卡前再次真人確認。」
最後這一段，是搭配著 PChome 寄來的簡訊，交叉比對確認我媽有下訂成功。
從行程管理到人生的第一次
另外作為盲人，我媽以前是沒有辦法做行程管理的，她唯一能夠仰賴的就是自己的大腦，記今天要做什麼、明天要做什麼，所以常常會忘東忘西的。現在她知道可以透過郭奶奶助理來幫助她、提醒她。雖然我媽至今不知道 Google Calendar 為何物，但是每天早上助理會到 Calendar 蒐集她今天所有的行程，在早上 8 點的時候一併匯報給她。
郭奶奶助理在今年的 4 月 5 號上線之後，我媽總計發出了 526 則訊息，完成了這邊列舉到的一些任務。其中藍字部分是以前我媽會需要我代勞的，但更重要的是紅字，是以前她做不到，但透過助理她現在能做到，回饋家園或是幫自己找一些新的挑戰。當中當然也收穫了非常多人生的第一次，例如年近 70 歲的我媽人生第一次收自己下訂的 PChome 包裹，中間兩層就是她訂的那個輕盈修護的洗髮乳。
四個階段與安全成本的思考
回顧郭奶奶助理，這是一個我用 Coding Agent Claude Code 打造出一個助理 Agent OpenCode 的過程。我大概經歷了四個階段，做出一個我媽覺得堪用的助理。耳聞過龍蝦的各種危險性問題，在真正 Clone 龍蝦的 repo 下來之前，其實我問了 Claude Code 大量問題，總計是 192 個問題，希望可以先幫我自己補課一下。回頭來看，它大量地集中在關於龍蝦的架構、安全跟成本。
有點汗顏，身為麻瓜，我依然連龍蝦一行程式碼都看不懂，但我至少有一個基本概念，知道它主要是由本地端的 Gateway 組成。為了可以收發 LINE 訊息，我做了一個中轉的中轉站，以及 Context 組裝之後會丟到 ChatGPT 再決定下一步的決策。帶著這樣的基本結構，在後續開發或 debug 時，至少我有一個基本的能力可以跟 Claude Code 討論，現在發生問題的到底是在哪一個區塊，做基本的問題定位。
另外，帶著這樣的結構觀念，讓我理解到，當大家在講龍蝦的安全性問題時，其實有不同的層次。面對通訊軟體端，我要擔心的是會不會有外部的攻擊。在本地端，我要擔心的是 Agent 會不會刪掉我的 D 槽。LM provider 端，我要擔心的是我的帳密會被外洩給 ChatGPT。延續的架構也讓我理解到，其實我媽媽使用的 Token，跟我在打造這個基礎結構使用的 Token，其實是可以切割開來做比較實惠的考量。
以上現在大家看到的肯定不是最完整的配置。但我想跟大家分享的是，在麻瓜試著理解架構的過程中，也開始有機會開始思考，在自己可以負荷的風險下，Agent 相關的安全跟成本決策。
龍蝦的能力邊界與三種卡關
在上線完龍蝦之後，我沒有急著在想說幫他加什麼新功能，相反的，我是跟我媽說：欸，你有什麼需求我就丟給他吧，我也不知道他可不可以做到。但透過這個方式先確認原生龍蝦的能力的邊界。實際數據跟大家分享，我媽媽的 500 則訊息之中，其實有 7 成是靠龍蝦既有的能力就完成的，畢竟盲人的日常需求並不複雜。
剩下卡關的部分，我把它分成三個類型。第一類是流程過程中要登入、要填個資、要結帳，這肯定卡關。面對這樣的問題，除了思考我的敏感資訊該怎麼安全地儲存之外，通常我會分成三個層次思考。第一個，軟性的規則我會直接寫在 prompt 裡，一定不能出錯。硬性的規則我把它直接寫在腳本層次、程式的層面。最後，面對基礎工具有一些權限很大但其實很少使用的，我會直接從許可清單中把它排除。
再來，第二大類常卡關的，其實是跟使用習慣跟行為有關的。例如一開始郭奶奶助理就也很常傳這種很漂亮的訊息給我媽，但對我媽來說非常干擾，因為我媽用語音報讀，聽起來會變成大聲公在念那些話。我花了大量的時間在指導，後來我才注意到怎麼跟一個以聽覺為主的盲人進行互動，後來換成一個純文字的版本，雖然比較樸素，但這才是真的對我媽有幫助的。
如同各位所知的，龍蝦有大量的原生 Bug，碰到這種情況，我通常就回到原始的 repo 去做確認、進行修復。一樣作為麻瓜，一樣透過 AI 來動手。
從點擊操作到認識做事習慣
我感覺去年我要處理的問題，跟今年我要動手的問題，已經不太一樣了。去年當我在 AI coding 一個街頭藝人自動化搶標的程式時，我其實花了大量的時間是在開 DevTool、監聽，想辦法讓我的 AI 可以正確地點擊到我要它點的按鈕。我覺得我在做很操作層面的事情。
但是今年面對複雜許多的 PChome 購物時，我做的是事前先安裝好 Chrome Tab 的 MCP，然後我其實就只有這樣告訴 Coco：我就是要你可以完成購物，可以來回對話確認品項，剩下就交給你吧，用你可以的方式跑通，以及跑完之後做所有你可以做的測試，然後就跟他說我要去睡。醒來之後再來驗收吧。
這個是實際的狀況。最後其實我說我去睡了，但它其實也只跑了 20 分鐘，其實就把基本款購物的功能跑通了。真正我這個麻瓜花時間在跟 AI 對話的，其實是針對我的信用卡號怎麼處理、信用卡的 CVC 號碼又該怎麼儲存，以及面對像我媽這樣的一個特殊使用者，流程要怎麼設計。我覺得我現在在討論的，大多已經是點擊操作以外的那些事情了。
我不知道這樣說會不會有點抱怨，但是從我滿排的需求來說，其實我覺得一般性的操作，例如網頁自動化這種事情，是通用 Agent 已經解掉的題目了。現在真正剩下還未解的，是怎麼樣讓 Agent 認識我的做事習慣，以及安全地取用我的資訊。
帶著這樣的想法，雖然前面卡關的部分跑通了，但通常我會希望可以把它沉澱成文件，例如寫成客製化的 Skill，或是寫入記憶層，例如 Solid1D。手握著大量這些充滿著我媽特殊使用習性跟習慣的文件，是我現在覺得最珍貴的資產。不管接下來我要跳槽到 Hermes 或 OpenCode 2.0、3.0，我相信帶著這些文件，可以讓新的 Agent 不用從零開始認識我。
郭奶奶協理：用管理層 Agent 自動迭代
在這段期間，開發了兩個月之後，我逐漸感覺到這一切開發的瓶頸是在我本人，總是要在我看到助理卡關後，進去跟 Claude Code 討論怎麼修復，為了要加速優化郭奶奶助理。所以近期我又獨立打造了一位郭奶奶協理，用協理來管理助理，非常合理吧。她會用 Loop 的功能，每四小時自動去巡檢郭奶奶助理她的 Log 跟對話記錄，看看有沒有滿足我媽的需求。如果沒有，協理就會主動提出優化方案，經過我人類的許可後，就可以進行自動入庫。
以上回頭來看，我覺得我真正在做的事情，是先透過大量的提問，先畫出一條我能夠承受的安全界線。在這個界線內就放手吧，讓 Agent 自由發揮，一定會有卡關的部分，透過補上我的資訊來解決。最後建立一個獨立的管理層的 Agent，來建立自動化的迭代循環。
兩個反思：介面的意義與外擴
在這段期間，長期看著我媽使用郭奶奶助理時，我也有兩個很深的反思。第一個是關於介面的意義。其實我以前非常常寫政府的陳情信箱，跟他們說：欸，你們那個網頁都掛一個什麼無障礙標章，但其實根本沒有辦法讓我媽好好地操作。但是從今年開始，我一點也不在意這件事情了。不管原本這個網站做得如何，只要這個網站可以被郭奶奶助理這個 Agent 順利地操作，對我媽這個視障者來說，她就是無障礙網頁。所以未來無障礙介面的定義，是不是會有所變化呢？
再來，也曾經有人問過我說：你到底是不是重度使用者，為什麼還要使用龍蝦呢？龍蝦真正的意義是在外擴，把 Agent 的能力擴及我們以外。我相信我媽這輩子斷不可能學會怎麼使用終端機，或是一個 Codex 之類新的 app，但是透過龍蝦，可以把 Agent 的能力也帶到她的身邊。這邊我想跟大家分享的是，在整個打造郭奶奶助理期間，我完全沒有幫我媽做過任何的教育訓練。
第二個實驗：把 Agent 帶給公務員
三個月陪跑的決定
以上是我要跟大家分享的第一個 Agent 實驗。剩下一點點時間，也快速跟大家分享我的第二個實驗，關於把 Agent 帶給公務員。十年前，我曾經在政府工作過一段時間，最近陸續有基層的公部門來詢問我，可不可以去教他們 Claude Code、Codex，用在一些日常的行政、Word、Excel、報表、自動化等等。
面對這樣的邀請，其實我內心真的在想的是，作為一個組織的外部人，一個如同過客般的講師，真的有辦法為組織留下些什麼嗎？帶著這樣的探問，我做的第一個決定是，我跟他們說：不要找我去上一次課，我們用三個月的時間彼此陪跑，規模不用大，就找十個公務員，我們來做小規模的測試，看看 Agent 是不是真的可以進到公務日常。
回頭來看這三個月，我們意外的是，我真正做的事情，好像跟打造郭奶奶助理時是一模一樣的四件事。
從最安全的事情開始
在一切開始之前，先透過大量的訪談，一樣是去了解架構、安全、成本，但因為談的是組織中的 AI，所以大量聚焦在他們內部 AI 使用規範的架構。透過跟最高部門的資訊主管確認，這個機關真的是可以使用外部 AI 的，但是當然，個資、機密資料都需要排除。
身為一個膽小的人，我一直都認為在政府裡面推行的事情，不能從最重要的事情開始，要從最安全的事情開始。所以這三個月，我們選擇從無機敏性的統計型資料的自動化開始做。雖然我也可以跟同仁說不要把機敏資料都給 Agent，但我清楚知道，當一台裝置裝上 Agent 工具的那一刻起，Agent 就已經具備權限去碰觸整台電腦的資料，這對公務員並不安全，所以正式的做法，還是應該要使用獨立的電腦。
裝置盤點與買帳號
但哪來的設備呢？很幸運的是，大家知道政府在疫情期間為了居家辦公買過一批筆電，於是這批閒置中、幾乎是空的筆電，就成為我們這次 Agent 實驗的基礎建設。疫情已經是 7 年前了，所以這些電腦打開，它的版本其實都不相容於目前主流的 Agent 工具，於是又花了一些成本進行升級。我必須說，我沒有想過原來 AI 的推動，有可能必須要從裝置的盤點跟版本的升級開始。
如果你面對的也是比較 legacy 的組織，先劃出一條隔離 Agent 的界線，以及找到對應的裝置，也可能是你會碰到的第一道卡關。原本我以為最困難的、讓政府買 AI 帳號，其實只是一紙公文就可以解決的問題。以上這一切都搞定好，才進入到教育訓練。
Office hour 與卡關的兩成
我想這個部分跟多數的組織一樣，每個部門派出種子幫他們上課，每一人都要做出自動化專案，有這些專案為基礎，就繼續去進行由上而下，盤點類似的、再一個一個複製。在這個過程中，為了讓同仁感受到支持，所以我其實效仿了今天下午的另外一位講者海總理，他有一個 One on one 的做法。我設置了 office hour，每個禮拜我就選一整天的時間，就坐在他們辦公室裡，任何人有 AI 的問題都可以來詢問。
具體 office hour 在做的事情，其實就是陪著同仁一個一個地去盤點他們的業務流程，思考 AI 可以怎麼樣加進來。十個同仁總計大約 30 個自動化專案，這當中大約 5 成在 office hour 的陪伴下是可以看到持續在前進的。真正卡關的 2 成，有時候是這樣的：有時候談著談著，同仁自己就會跟我說：Peggy 呀，其實我覺得這個流程本身沒有太大的意義，我們該做的，不該是用 AI 去加速那個本身沒有意義的流程。
機敏性與法務：把問題分流
最後，這個機關已經有 AI 的內部指引了，但是回到公務日常，到底我手上這個會議記錄、這個報告到底機不機敏，還是非常多同仁在 office hour 提出的問題，這顯然不是一個我這個外部人員可以來回答的。面對這個問題，我主動去認識了他們機關裡面的法務，彼此 align 過、確認這個界限在哪裡之後，後續所有這類問題回歸到體制內的法務來進行回覆。
經歷這個歷程，我強烈地感受到，當在討論組織的 AI 時，AI 應用的問題，與 AI 無關的既有流程的問題、資料治理的問題，跟合規性問題，這四件事情是緊緊糾纏在一起的。作為一個外部講師，我不可能 cover 所有，我能做的是幫他們把問題歸類之後，分流到真正有權責處理的對口。
工作小組與長官拍板
至此，我作為一個外部協力者，搭配他們內部主要的推動幕僚，以及組織合規的推動 A、B，導入的兩大基石——法務跟資訊窗口，形成一個 align 過後的工作小組。真正在陪跑同仁的，不該是我一個外部的 AI 講師，而是由整體這個小組來提供同仁協助。
最後，再思考這一切要怎麼加速的時候，就像是助理需要一個協理去監督嘛，我們也安排了定期跟最高的長官做報告，去拍板加速那些沒有辦法由工作小組決定的事情。再加上前面已經提到最基本的、內部要有 AI 的使用規範、相關的基礎建設。
以上，如果你的組織沒有剛剛這些講師大大們，也是比較需要仰賴有外部的 AI 專家帶進來新思維的話，這些是我目前覺得 AI Agent 進入到組織之前，最基本可以做的整隊工作。在這樣的架構之下，也補充一下，現在外部協力者寫的是 Peggy 我，但我相信不管未來換成林副委員、海總理或其他人，這個角色依然成立。像這樣的結構，幫助一個組織已經準備好去面對因為 AI 而攪動出來的各類型的問題。
回顧這個小規模實驗，其實我在做的事情一模一樣：先畫出一條組織中使用 AI Agent 的安全界線，在這個範圍內讓同仁自由發揮吧，肯定會有卡關，把卡關的部分相牽回到既有的組織架構，最後加上長官的角色來加速迭代循環。
共同的心得：AI 是契機與槓桿
以上大概就是我今天想跟大家分享的兩個 Agent 實驗。我共同的一個很大的心得是，很多時候 AI 其實只是作為一個契機或槓桿，它真正的價值是去促成那些比 AI 工具本身更重要的事情。從組織的角度來說，可能是讓大家願意重新面對那些沉積已久的流程舊帳。在我媽身上，真正處理的其實是一個身心障礙者的自主自立的問題。
最後跟大家分享，以前我媽很常跟我說不要排什麼家族旅行，她是一個不喜歡旅行的人。但是就在這個月月初，我收到我媽傳的訊息，她說她要做一個跨縣市的街頭藝人旅行，要用郭奶奶助理來幫她安排交通、訂飯店、註冊等等。我當然知道，我媽不是不喜歡旅行，她不喜歡的是全然要仰賴家人的旅行。
能讓一位年近 70 歲的盲人每天醒來依然有新的夢想，想著要用自己的力量再去做什麼樣的新挑戰，這是我在 AI Agent 上看到最大的價值。同時作為一個宅女，我不是一個會對我媽說我愛你的人，但是透過打造一個 Agent 來表達我對我媽的愛，對我來說也是一件最舒適的事情。
謝謝大家。
