開場介紹
他也是我們今年 2026 GAI 年會的隱藏版講者，一位非常重量級的嘉賓。他是 Google DeepMind 傑出科學家及副總裁紀懷新。講到這裡，我們想先邀請他來到舞台中央來拍攝講者的獨照。歡迎。
真的非常開心今天可以邀請到紀副總裁來到現場。今天他將會透過三個趨勢帶大家來理解這件事情。第一是具備推理能力的單一多模態大型模型；第二是個人化與使用者對齊的基礎研究；第三是如何將系統一與系統二的認知能力整合到通用個人助理之中。所以今天我就要邀請大家一起來看，如何透過他的分享來看個人化通用助理的未來。讓我們再度掌聲歡迎紀懷新。
為什麼要講概念：工程師 vs 科學家
大家還沒吃飯喔，通常吃飯之前的那個講者最慘，所以我要盡量能夠……我覺得今天還有另外一件事情有點慘的是，什麼原因呢？因為我覺得這邊事實上是一個……我想來的一個原因是因為，大家都是在做應用的。那做應用的話，我們通常在術語裡面講工程師，覺得自己是工程師請舉手，應該全部都舉手對不對？八十、九十。有沒有科學家，覺得自己是科學家請舉手？請舉手，有沒有？沒有。只有我一個人，因為我是以科學家的身份來。
所以呢，我今天要跟大家講的是概念性的東西。為什麼要講概念性的東西？因為你在做工程的時候，你在做應用的時候，你一定要了解它底下的 concept 是什麼，要不然的話你沒有辦法預測未來。這是一個非常重要的概念。
手機上的兩大系統：推薦與搜尋
為什麼要這樣講呢？第一個，你先仔細看一下，你如果把你的手機……大家盡量用你的手機對不對，你覺得我講得不好，你就用你的手機就對了。那你往下看，你看那些 APP，幾乎所有的 APP，每一個你可以想到的，什麼蝦皮啊、Amazon 啊，或者是 Instagram 啊、Facebook 這些，幾乎所有的 APP 都是 driven by two systems，這我回來台灣的時候都已經講過很多次了，都是由推薦和搜尋引擎主導。
那推薦和搜尋到底有多重要呢？你想想看，現在幾乎將近是 1 trillion US dollars，這個 Internet economy 基本上就是以 recommendation and search 為主。比如說 Instagram，或者是說 Expedia，你在找 Flights 或者是 Hotel 的時候，我們每次回來台灣有時候會住在酒店裡面，我都是用這種 recommendation search 的方法在做這個東西。
Google 的 revenue search 就是 200 billion，Meta family apps 就將近是 200 billion，這兩個加起來就已經是 400 billion。你還要加上什麼 Airbnb 啊、什麼 Instagram 啊，其他的像什麼小紅書啊什麼的，一大堆全部加起來，TikTok 100，大概是 160 billion，就是全部加起來大概是 1 trillion dollars。
從這個角度來講，我們現在在一個人工智慧的 revolution 裡面，我們現在想到的是什麼？我們一直想說，這個 Internet 以後還會是長這個樣子嗎？還是以這種 Information Retrieval 的方法來繼續往前走嗎？
這是我們整個 Internet economy 裡面最重要的議題。Advertising Model 它會怎麼樣的 survive 下來？這是一個很嚴重的問題。
Information Retrieval 的兩個概念：Reverse Index 與 Vector Space Model
那從科學家的角度來講的話，去念過研究所的，有沒有去念過研究所、念過 Information Retrieval 的工程師或者是 scientist，可以舉手嗎？用過這本教科書的人有沒有？有沒有用過？有。最起碼 Dcard 那邊有用。
10 幾年前的事情，今天我要用 5 分鐘的時間把 Information Retrieval 教會，很簡單，只有兩個 concept。一個 concept 是什麼？reverse indexing，這個很簡單，每一本書的後面會有一個索引，索引是用來幹什麼的？你要這個 concept 到那個頁去看。所以這個索引這個 concept，事實上是當年做 Google……你想想看，那才大概是將近快要 30 年之前的時候，那時候對我們在 Internet 裡面、在做這方面工作的人，都沒有能夠想像的事情。
為什麼呢？你現在想想看，我們那時候有知道蕃薯藤這件事情的人，有沒有知道蕃薯藤？有沒有人知道台灣的蕃薯藤？有沒有人記得這個東西？你想想看我們台灣人，當年要是繼續把那個東西繼續做下去，那是 Yahoo 的開始，那樣子的 concept，改變世界了。
當年第二個 concept、幫助了 Google 很重要的一個 concept 是什麼？叫做 Vector Space Model。
這有聽過 Vector Space Model 的人請舉手，要不然我就不需要講那麼細，還是需要講一點點。你每一個 webpage 上面，比如說它剛剛上面寫著 Google，或者是寫紀懷新，或者是寫 Happy，或者是寫 Afghanistan，他寫多少次，我們把它記錄下來，然後把它放到一個 vector 裡面，用 cosine similarity，用一個 angle 的方法來計算它們之間的 similarity。
這個 vector space model 是大概 80 年代、90 年代那個時候開始發展廣大的東西，這也是 30 年前的 concept。但是後來我們用 neural network 的方法來製造 vector space model，這是 2010 還是 2011、2012 年發表的 paper。
你知道這篇 paper、這篇論文現在是十年以後得了大獎。你會想想看，這些感覺上是老掉牙牙的 concept，結果後來因為 neural network 把它能夠重新……我們用一個不好的詞彙，重新包裝起來，用另外一個方法來去算這個 similarity，結果變成 neural network 的開始。
所以每一次你聽到把一個舊的 concept 用在一個新的 concept 上面的時候，你就要這樣子去想。
從 Vector Space Model 到 Recommendation System
我告訴你，我回來台灣講過這個故事幾次了。我 1992 年在地面研究所的時候，我的指導教授來跟我講，他說那個 vector space model 的 concept，你就把它用在人跟 rating 上面就好了，然後呢，你可以做一個 recommendation system。這個 matrix 呢，instead of documents，你一邊是 users，就 user，原本是 document，把它改換成 user；每一個 word 把它變成 item，每一個 item 中間它是一個數字，這個數字不是 frequency，而是那個人對那個 item 的感受，比如說他很喜歡它或者不喜歡它。
他用這個 concept，直接用 vector space model，我們就可以做一個 recommendation system。
我說這個教授啊，這個老掉牙的 concept 我沒有興趣，我想做新的東西。這篇 paper 後來得了好多獎，如果我的指導教授還活著的話，我覺得這篇 paper 有可能會得 Turing Award。所以這一系列的 recommendation 跟 search system 的 design，讓我們 figure out 怎麼把現在的這種 internet ecosystem 建立起來。
Neural Network 與深度學習的威力
那 neural network 這件事情呢，今天只有 20 分鐘，沒有時間講 neural network 裡面的細節，這算法怎麼算。這為什麼要去念研究所、去了解這些裡面的數學，其中一個原因就是這個原因。另外它後面還有一些非常有趣的故事，像比如說當年 2013、2014 年的時候，我們意識到說，用這些方法能夠做更好的推薦系統、更好的 search system，所以我們當時就開始 build TPU systems。
當時我一樣是意識到這個東西會是 Avelia 的到來，我買了 Avelia 的股票，現在全台北市都是 Avelia。我的……先生換回來的時候，不是台北市，就覺得好像都是他的。所以這個多麼的厲害呢？
後來你要仔細想一想喔，我們用 neural network 的方法提升了 Google 的產品最起碼 1000 次，用我的團隊 100 多人而已喔，就提升了 Google 的產品 1000 多次了。那這個代表了多少錢呢？10 billion US dollars，一年 10 billion US dollars，我都不會算，10 billion 是 300 billion Taiwanese dollars，那是多少錢？是 30 億，一年 30 億……我都不會算，我這零都不會算。
1995–2015 的三個概念
所以從 1995 年到 2015 年，事實上最重要的、我個人認為三個 concept：第一個 reverse index，造成了 search engine，造成了 Yahoo 這樣子的公司；第二，vector space model，能夠做 similarity；第三，deep learning。deep learning，這三個很重要的 concept。
Sequential Transduction
2015 年開始，更重要的概念開始在萌芽，這個概念叫做 Sequential Transduction。有聽過我的 talk、你如果知道 transduction 是什麼東西的人，你不准回答。transduction 是什麼呢？知道 transduction 的人請舉手，有沒有？那邊是嗎？你知道 transduction 是什麼嗎？你可以給我一個定義嗎？
它的定義是從一個 energy wave 轉換成另外一個 energy wave，這個叫做 transduction。
https://en.wikipedia.org/wiki/Microphone#/media/File:Condenser_microphone.svg
當然，biology 裡面也用了這個字，transduction 用來做什麼呢？從 DNA sequence 變成 protein sequence，它也把它叫做 transduction。但是 transduction 的意思，它原本的意思是 sound wave。那什麼叫做 sequential transduction 呢？你要先了解什麼叫做 transduction，你才知道什麼叫做 sequential transduction。
Source: https://commons.wikimedia.org/wiki/File:Sequential Processing in the Auditory Transduction Chain.svq
https://www.researchgate.net/fiqure/Sequential-Processing-in-the-Auditory-Transduction-Chain-A-sequence-of-several-steps fig3 8071604
transduction，事實上各位現在在聽到我講話，這麼大的一個禮堂，你可以聽到我講話，事實上你聽到的方法就是叫做 transduction。為什麼呢？從 sound wave 變成 electrical wave，這個東西就叫做 transduction。麥克風也叫做 transducer。大家可能聽過 transceiver，transceiver 就是 transduction 加上 receiving 的意思，也可以是 transmission 跟 receiver 合在一起，所以叫 transceiver。不過 transceiver 基本上就是 transduction。你知道這個東西有多神奇嗎？各位的耳朵也是一個 transduction，也是一個 transduction。
而且更厲害的地方是什麼呢？我現在頭腦裡面有一些 concept，對不對？我在一邊在想的時候呢，它經過我的頭腦，然後經過我的喉嚨發聲，然後呢講出一些文字，這些文字都是 sequential 的，對吧？一個字一個字出來的。然後你聽到，經過你的耳朵，經過那個 sound wave，經過裡面的骨頭的震動、耳膜的震動，然後又傳入到你的頭腦裡面去。然後你要解讀我在講什麼東西，這樣子我們才能夠經過溝通。我們的溝通是經過 transduction。
這是一個很神奇的事情，就是說，我現在在講話，要經過多少層的 transduction？我的喉嚨的 transduction、microphone 的 transduction、一個無線電連到後台，然後還有一個 speaker，speaker 也是一個 transductor，它從 electrical signal 又變回 sound，然後要經過你的耳朵又是一個 transductor，然後你的頭腦裡面也有 transductor。這一系列的 transduction 我們才能夠做到所有的這些溝通，你才能夠了解我在講什麼東西。
2015 年發生了什麼事情呢？我們發現了你可以用 neural network 來做 sequential transduction，這個是真正智慧革命的開始。
我個人認為，如果我們要追溯到 2015 年這個智慧革命的開始……你知道我小時候很喜歡看那種漫畫書喔，然後漫畫書裡面就是什麼？就是說我們等到哪一天，我們發明了一個火箭能夠到另外一個星球的時候，然後人類在很久以後會發明一個時代移空的這種機器，Time Machine 要回到那個起點去看火箭發射。我覺得我們哪一天會覺得說智慧革命的開始是哪一天的話，我覺得會是 2015 年，他會回去說：That was the beginning when we realized sequential transduction 是在所有的智慧格局的開始。
那這個東西有多重要呢？我們現在已經可以發現，這些 Sequential Transduction Model 可以了解圖片、可以了解 Audio、可以做 Translation、可以做圖片的解釋，這些東西全部都可以合在一起，在一個 Model 裡面。這個對 Computer Science 的角度來看是一個很不可思議的事情。Computer Science，Divide & Conquer、Decomposition，不是 Composition。所以這個 Convergence，我去年在這個年會的時候已經稍微提到，但是沒有把這個 concept 講得那麼清楚。
Next Token Prediction 到 Next Idea Prediction：Chain of Thought
為什麼要講這個東西呢？因為我們後來發現，事實上你需要做的事情，這個 next token prediction 可以做下一步更重要的事情，而且就是各位為什麼對 agentic coding 這麼有興趣的原因，就是在這個地方。為什麼呢？因為 chain of thought，我們可以做什麼東西？從 next token prediction 變成 next idea prediction。
這是一個很重要的 concept。為什麼呢？因為事實上，連這位小朋友在前面聽，你在聽我說話對不對？我每說一個字，你有在仔細聽的話，你可以猜中我下一個字對不對？這個就是 next token prediction。但是，我再過五分鐘我會講什麼東西，你知道嗎？你不知道，為什麼？因為，you're trying to do the next idea prediction。
所以，agentic coding 的開始，是從 chain of thought 開始，因為它在做的事情是 next idea prediction。這個是非常非常重要，從 2026 年開始，一個非常重要的 concept。我們的那篇 paper 是 2022 年發表的，所以這是四年之後才意識到說，原來 chain of thought 是 agentic 的開始。
從科學的角度來看，next token prediction is not enough for intelligence， next idea prediction might be enough for intelligence。這是一個很重要的 concept。Post-training with Chain of Thought may have been the start of large-scale reasoning machines。 真正能夠推理的開始，是從 2022 年的 Chain of Thought 開始。
2015–2025 的三個概念
2015 到 2025 年一共 10 年的時間，最重要的有三個 concept：1。 Sequential Transduction；2。 Chain of Thought；3。 Post-training。今天沒有時間講 post-training，post-training 裡面細節太多了，RL 啊什麼什麼的，這些你要看論文，光是講一個效果就講不完。
所以呢，這一共是六個 idea，從 1995 年到 2025 年、30 年開始，一共六個 idea。如果你真的想要成為這方面的科學家……你做工程師不需要了解所有的細節，但你做科學家，你要了解所有的細節，你這樣子才能夠 predict the future。
真實生活中的個人化助理 demo
我們來看看他在真正生活裡面體驗的手腳。
Can you tell me the door code and remember it?
I'll remember the door code for you. It is 1170. To unlock it, enter the code and then press the unlock button.
Based on these symbols, how should I wash it?
The tag shows to machine wash at 30 degrees Celsius. Avoid bleach and tumble drying. Iron on low and dry cleanable.
What settings should I use on this machine?
Based on the laundry instructions of 30 degrees Celsius, select the 30 setting under easy care on the dial.
I've got this list of recommendations. Can you tell me a bit about some of them?
I can search for these places for you. Cold Drops Yard is a shopping destination with unique industrial design. Luminary Bakery is a social enterprise bakery. And Tate Modern is a modern and contemporary art museum.
有沒有注意到剛才最後面那個是一個 recommendation task？現在這裡有另外一個 recommendation task。
結語：Your new job is intelligence engineering
所以最後我想講的是，大家都是工程師對不對？記得為什麼工程師英文叫做 engineer 嗎？
你們注意到這件事情嗎？這是一個很重要的 concept。你之前的 job 是 software engineer，your new job is intelligence engineering。
Thank you very much.