校稿中 · 暫不公開

請輸入密碼閱讀

← 回到研討會書架 ← 回到選擇
AI AGENT

代理人寫作

李慕約 · 生成式 AI 年會 策展人

從 46 分到日更電子報

我小時候從法國回台灣念國一,我第一次國文段考的分數就是 46 分。然後 20 年後我開始日更電子報,然後就出事了。

alt text

寫電子報它會有如錯字啊,忘了人家的 footer 啊,你點進去文章的連結是壞掉的啊,流水號、跳號,從 30 號跳到 32 號就會有人寫信來說,哇,我弄掉 31 號了。然後還會有人問說為什麼你都是半夜三點才寄出?因為我每天早上起來一直寫到半夜三點才寄出,所以這是一個超崩潰的事情。

alt text

這是去年。

從今年開始,我們所有的電子報、所有小聚演講的筆記都是用 AI Agent 生成的。然後我們還跟一個很有威望的雜誌有合作,所以我們出版的文章每個月都會有一個專欄。

alt text

雖然選題、演講都是真人,然後也會有真人把關,可是真的寫的那個角色其實就是 AI Agent 做的,而且這個是雜誌的等級。

為什麼要這樣做:成本

所以為什麼要這樣子做?原因就是因為人類寫一篇一千字的文章大概就是一個字三千塊,那 AI Agent 寫一個一千字的文章它就是十塊錢。我們會寫 30 遍,所以它就會是一天晚上 300 塊,還是比人類便宜十分之一。

alt text
alt text

三個部分:指令、脈絡、工具

我今天的主題會分三個部分,會講一下指令、脈絡跟工具,其實分別就會是大家熟悉的 prompt、context 跟 harness。

alt text

比較平易近人的話,你就想像其實這三個的差別就會是:指令就有點像是你煮菜的時候的配方,脈絡有點像是你餵進去的食材,然後工具有點像是你旁邊的爐具。我等一下會分成不同的部分,我就會依序說這個文章從沒有到有是怎麼樣產生的。

首先就會是聽寫、寫稿跟上稿,所以我們先從聽寫開始。

alt text

一、指令(prompt)

聽寫:把時間買回來

快速舉手一下,你曾經有做語音變組字稿的,可以舉一下手嗎?OK。你是用免費的 AI 舉手,就是 Whisper 這邊。你是用付費的舉手。

alt text

我第一個 take away 就會是說,把時間買回來。你其實坐在辦公室的時間非常非常的貴。一個月薪六萬塊的人坐在辦公室的每一分鐘,老闆就是付你六塊錢。所以假設你用 AI 去幫你做一件事情,它可以幫你省下兩分鐘,所以你就回本了。雖然 AI 要多花你 10 塊錢,可是時間上你就回本了。

alt text

那再來舉手一下,所以你要付費的話,上一次你有付費,你是用 OpenAI 模型的人可以舉手嗎?用 Gemini 模型的呢?要用哪一個呢?答案是不要二選一,你兩個都用。

alt text
alt text

寫稿:最好的模型不是最聰明的模型

alt text

接下來我們剛講聽寫,接下來進入寫稿。寫稿的部分一樣大致大家舉手,以上是用 AI 產生文章。請問你是用 OpenAI 的舉手?Anthropic Claude 的舉手?然後 Gemini 的舉手?

alt text

我們實測裡其實最好的模型不是最聰明的模型。我自己最喜歡的模型是 Claude Opus 4.6,這個模型甚至超過 4.8,所以有點像是 4.5、4.6 很好,4.7、4.8 越來越差,然後拿去寫文章很差。

alt text

這部分很差是在我們的情境裡面,我們希望那篇文章不是只是一顆很乾淨的逐字稿、很多資訊而已。我們希望那篇文章閱讀起來是很順暢的一篇文章。所以在我們的評比裡面,4.6 是我們最喜歡的東西。

alt text

反思流程

我接下來要介紹的主要的流程,就是我們在寫文案的流程,它叫做反思流程。

alt text

反思流程的問法相對於一般的流程就是:你就教 AI 寫嘛,然後就寫完了。反思流程的差別會是,他寫完之後,你會跟他講說請你去檢討。檢討的時候他會列一些要檢討的東西。會有一個第三步驟是說,根據你剛剛列的東西再去寫。所以會多這兩個步驟。

第一個步驟會是說,先給我意見,先列出這些意見給我,先不要直接改喔。第二是說,這是剛剛別人給你的意見,你可以採納也可以不採納。

alt text
alt text

為什麼要做這麼迂迴的事情呢?因為這樣你比較有餘裕、比較有空間,AI Agent 可以決定說它要不要採納這些決定,這樣子就會讓你的流程變更好。

這是我從劉思彥兩年前跟他學的,他用的叫透過反思做的翻譯。這個反思流程你可以用在很多地方,是說你寫完文章之後,你想改變文章的話,把你的文章加上逐字稿,就可以寫出像 CV 之類的東西。

alt text

比如說,你偶爾可以透過這個反思流程補強,說原本沒有那個細節,你把一個小時補進去。

alt text

你也可以請他刪除,你可以請他說,原本是這樣子,我想刪掉最舊的。反思流程可以做這些東西,就會有各式各樣的排列組合。

alt text

補強容易,刪除困難

你覺得補強比較難還是刪除比較難?

alt text

刪除難很多,因為刪除有點像是價值選擇。什麼意思呢?想像你這句話是叫做「我吃了橘子跟蘋果」,你只能選擇其一,你讓 AI 去選,AI 就只能平均去選其中一個或其中另外一個。

alt text

實際上在我們的測試裡面,刪除真的很難,增強只要一句話,可是刪除要一整頁的指令,所以非常非常困難。

alt text

另外是說,這些流程之中它其實也有特定的順序。

alt text

所以比方說,假設先做刪除再做補強,或先做補強再做刪除,其實是有還蠻大的差別的。還有一些其他的 pattern,比如說你可以用 AI 生產三個稿,然後讓它挑裡面其中一個比較好的稿,這個其實效果蠻好的。

alt text

那組合各式各樣的 pattern,就會有很長很長的步驟。這就是小聚筆記的十五個步驟,每個步驟都要做兩次,一次反思,然後真的寫。所以先是篩選一,再來潤稿,然後我再重寫那個開頭,刪掉冗的地方,先試試查核一遍,然後用兩個模型各做一次,每一段再重新改寫,再補強、再刪除,最後再修標點符號。

alt text

實際上好像都是我在講,可是實際上我就 run 了一下昨天所有的演講,這個是實際上的結果,給大家看我們的後台。這個是我們已經發布的文章、草稿。

alt text

所以大家可以看到這封信實際上是長什麼樣的,這個是直出的喔,這個是我零驗證就直接出去了,所以大家可以看裡面的錯誤率是怎麼樣。

好,所以把指令講完了。我們剛剛把指令講完了,然後我們也講了說把時間買回來,然後先給意見、先不要直接改,然後我們講說蘋果跟橘子困難的地方。

alt text

二、脈絡(context)

那接下來我們想要講脈絡。脈絡就是你要塞什麼樣東西進去。我想要講四件事情,分別是更多脈絡、要移除脈絡、隱藏的脈絡,跟怎麼樣讓脈絡更乾淨。

alt text

更多脈絡

更多脈絡其實是想像的,其實就是你塞更多東西給 AI。

alt text

原本說你有一個逐字稿,你這樣子寫,那你塞更多東西,就是你除了逐字稿之外,你還塞了講者的簡報,因為裡面會有對的關鍵字、講者簡介,指稱出乎意料好用、網路上搜尋的東西等等,全部塞給他。這樣的好處是那篇文章的資訊含量就更多。

alt text
alt text

另外一個可以塞的,是可以把好幾篇文章都塞給他。他就會說這篇文章講了什麼,其他兩三篇也講了什麼,就有一種呼應的效果。這是一個方法。

比較不好的缺點就是說,有時候你只要塞網路上有的資訊,可能這剛好不是這個講者講的東西,所以就有一個缺點,但就是它的內容比較豐富,

alt text

可是它可能不一定是講者講到的東西。實際上真的很大的缺點是說,你塞很多東西的時候,AI 就會變笨。因為像我剛剛講的,就是我們最喜歡的模型是 4.6,它沒有很聰明,所以你塞很多東西它就會變敏感。

alt text

移除脈絡:認真管理你的 context

alt text

所以我發現另外一個很好用的技巧,其實是很認真地在管理你的 context,是說你不要塞那麼樣的多東西,而是你塞更少的東西。當你給他的東西更少、更精確是你要做的東西的時候,他寫出來,他潤飾的效果就更好。所以不同的任務你要塞的東西就不一樣。

alt text

原本我的做法是每一個任務全部都把逐字稿塞進去,因為我覺得這樣子每一個任務都最正確、最不會換句。

alt text

可是我發現這樣的 trade-off,每一個任務的呈現都很差。做法就是有一些任務就不能塞正確的東西,最後要再做一次校閱。

所以實際上另外一個做法是,你不要整個文章拿去改寫,而你應該要只改第一段,然後再改第二段,然後再改第三段、改第四段,然後全部合併一起,所以這個效果會更好。這是移除脈絡。

alt text

隱藏的脈絡:工具偷塞的脈絡

另外就是再往下。你上次用 AI 協助,請問你是使用網頁版的舉手?譬如說 Claude AI 或 ChatGPT。你是使用 Claude Code 的舉手?你是使用 Claude API 的舉手?

alt text

我今天要分享給你你的就是,Claude Code 是一個超差的網路寫手。原因是因為 Claude 的網頁版就會有它的 system prompt,你的 Claude Code 裡面它有超多 harness,所以它寫出來的文章超笨。所以最乾淨的東西其實是 API,因為它沒有任何的東西在裡面。

alt text

讓脈絡更乾淨:先清雜訊再問

再來我們就說,因為這個 content 真的很敏感,所以裡面有時間戳印、沒有意義的字、衝突的數字、拼錯的名字,都會讓你的 AI 變更笨。

所以我們在進去之前就要花很多時間、前處理這些東西。比方說名詞,我們先把主持稿的名詞都抓出來,叫他自己在網路上搜尋這個 content 是對的名詞,必要的時候先跟人類核對,再進去 AI 系統。這些都是因為要保護你很珍貴的脈絡。

alt text

所以這邊我們講說,與其要塞更多,不如移除。我們講說工具會怎麼樣偷塞脈絡,然後我們有講說先清雜訊再問。

簡報:用看的,不要用 OCR

再來就會是說,我們會有簡報。

alt text

簡報就是你要用 AI 看的時候,不要用 OCR,要用看的,因為它就可以描述一些文字描述。AI 選擇插入講者簡報,插入時記得把文字簽進去,這樣 AI 才會看。

alt text
alt text
alt text

其他我們在文章做很多處理,比如修圖,小聚現場的簡報都超沒辦法看到,所以用 AI 默默地把簡報加強。

這個是幾個我們有做、可是後來沒有發的東西:一是把一些雜訊移除,比方說把我自己移除、把電線移除,然後這個更極端,就是我們想要置入小聚的 logo,這個我們沒有發。

alt text

這個是幾個我們有做、可是後來沒有發的東西:一是把一些雜訊移除,比方說把我自己移除、把電線移除,然後這個更極端,就是我們想要置入小聚的 logo,這個我們沒有發。

alt text
alt text

另外有趣的實驗是說,小聚真的很多很多講者照片,然後我們就想說可不可以用 AI 去整理。然後有一天我就發現說好像有一個秘訣,AI 雖然沒有辦法辨識臉,可是假如你跟他講說穿同樣顏色、款式的衣服,AI 會選擇不同的講者分類。我一直覺得這個超有效的,一直分一分。一直到去年八月小聚的時候,三個講者全部都穿灰色條紋襯衫,全部都混在一起。

alt text
alt text

另外,AI 也會畫漫畫,所以每次都會選說你要 OpenAI 的漫畫還是 ChatGPT 漫畫,OpenAI 漫畫或者是 nano banana 漫畫,那其實一篇文它會選 12 個漫畫讓你選。

alt text

那我有試著想要讓它可以學習我,比方說我已經選了這麼多人的漫畫,你可以從這些資料了解我,你會選什麼、我會選什麼,然後你可以問我說為什麼我當初選這個,然後它就可以學到很多很多的知識,說為什麼我選這個。

alt text
alt text

這篇結論是說,這完全不像我,創意跟編輯是一件很難很難的東西,我從來都沒有教他會過。

alt text

三、工具(harness)

Ghost blog:人類與 AI 都能上的編輯器

alt text

再來就是我們的編輯器是用 Ghost blog,它是一個人類跟 AI 都可以上去的東西,所以實際上 AI 可以在上面上架。它每一篇文章講有連結的話,它都會點進去這個連結,看說你超連結講的是蘋果,你點進去那個網站是不是真的是蘋果。然後它會發流水號、它會分類,然後它其實管理了整個系統跟補給。

那我們還會做的最後一件事情是,我們發信的時候,會給講者確認的時候,會需要寫一封信給他,小聚結束的時候。那現在這封信也是 AI 發的,所以每一次 AI 都會針對每一個講者客製化這一封信。這跟以前你那種合併寄送不一樣的地方,是這個客製化的程度真的非常的細膩。

alt text

同樣這一封信,它裡面一開始會寫說,我們幫你開一個部落格的帳號密碼,你可以登入之後就可以改這篇文章,超夠。然後它會說這個是你這次自己的照片,然後它會說就是 Discord 上誰給你什麼樣的反饋,給這個講者的反饋。

alt text
alt text

這個客製化裡面我最喜歡的一個功能,就是它會寫正確的「你」跟女字旁的「妳」。就是它會假設對方是女性講者的話,它就會寫女字旁的「妳」。這個 prompt 很簡單,就會是說確定對方是女生,假設的話你就用女字旁的「妳」,不然你就會回去人字旁的「你」。然後它每一個講者的說法都是非常非常精確的。

alt text
alt text

把關:作家、打雜(Codex)與觀測性

接下來我想要講一件事情是把關。

alt text

大家有發現,除了寫作的作家之外,還有一個 AI 在處理這些雜事,叫做打雜,它是 Codex。常常會發生的事情是,打雜會叫作家去寫作,就是人類跟打雜說,然後打雜就會去做這個 API。

alt text

可是有時候我跟他講一句話說,你的 system prompt 一定要這樣子寫喔,一定一定要這樣子寫,他還是會喜歡在送出去的 API code 裡面自己夾很多很多的東西,因為他覺得他看不下去我的 prompt,所以他就想要塞很多東西。這個解決方法超難,編輯污染的解決方法超難。

alt text
alt text

你可以做幾件事情,除了日誌記錄,你可以找一個代言人去檢查,你需要版本控制,然後你需要在交接的時候,還有很明確的契約。跟最後一個我想要講的是觀測性,你要有一個介面去觀測說 AI 在幹嘛。所以我們內部就有一個這樣的介面,這個是以剛剛小聚的文章來講的話。

alt text

他剛剛眼睛有沒有看到,就是在發文的時候,其實我今天早上醒來看的時候,我有點嚇一跳,因為我想說我還沒演講,怎麼會有騙我自己的文章?那原因是因為,他去找了我自己的彩排,因為我彩排都存在本地,然後他就自作主張地把我的彩排就上傳給演講,然後他還畫了一個漫畫,我覺得還不錯,然後最後還連到了一個我還沒有公開的簡報,所以就直接也在後台念了。

alt text
alt text

結語

今天講了三件事情:指令、脈絡、工具。工具是編輯的污染,想像用軟體的管 AI,以及你希望文章的每一個字都可以踩到它的來源。這就是我的演講。

alt text

最後我們想要呼籲,所以我們下一步想要做的東西是,除了寫中文的文章,我覺得基本上這個問題也解決了,接下來想要把所有演講內容翻譯成全世界各式各樣的語言,所以你在這邊講一次之後,印度就有很多人 follow 你之類的。以後你就算不是來小聚講,你在其他地方當講者,你也可以把你的演講傳過來,我們也會幫你把它公開成多語言。

alt text

謝謝大家的分享。

← 回到選擇 下一個:打造人人想當勇者的冒險者公會 →