當 AlphaGo 遇上 ChatGPT：第三章：從 AlphaGo 到 AlphaZero，再到 MuZero

 

從 AlphaGo 到 AlphaZero，再到 MuZero

光會下圍棋還不夠，DeepMind 做的下一步，是把這種「下棋大腦」變成更通用的「策略機器」。

AlphaGo：勤奮的高材生

  • 看人類棋譜起家（監督式學習）

  • 有不少人類手工設計的棋盤特徵

  • 策略 / 價值是兩個分開的網路

強，但還是站在「人類知識」的肩膀上。

AlphaGo Zero：天才的初學者

  • 不看任何人類棋譜，只保留規則

  • 完全靠自我對弈學棋

  • 丟掉 rollouts，只用策略 + 價值 + 搜尋

訓練幾十天，全面超越前一代 AlphaGo。
關鍵訊息是：人類棋譜是有用，但也是一種偏見。

AlphaZero：通用的戰略家

  • 把策略 & 價值合成一個「雙頭網路」

  • 架構更乾淨

  • 同一套系統可以下：圍棋、西洋棋、將棋

AlphaZero 軟硬體成本巨大，但概念非常純粹：
給我規則，我自己找出最佳策略。

MuZero：連規則都不用給

MuZero 更狠：
連轉移規則都不用明講（例如棋子怎麼走）。

它自己學出一個「內在世界模型」：

  • 如何從當前狀態 + 動作 → 預測下一個狀態

  • 如何在這個內在世界裡模擬未來（rollout）

  • 再用搜尋、價值網路來選行動

這套架構不只適用於棋，
還能用在 Atari 遊戲、控制問題……
已經接近「機器自己發明物理規則」的感覺。


第四章：另一種文明——Transformer 與 LLM 的語言大腦

========

本著作由大力士的AI天地創造 製作，以創用CC 姓名標示–非商業性– 禁止改作 4.0 國際授權條款釋出

留言

張貼留言

這個網誌中的熱門文章

不要再學 Prompt : 第 1 篇：新手完全不懂 Prompt，也能讓 AI 幫你生出專業 Prompt（超簡單）

圖片
📘 第 1 篇：新手完全不懂 Prompt，也能讓 AI 幫你生出專業 Prompt（超簡單） 多數人以為，要好好使用 AI、尤其是像 ChatGPT 這樣的語言模型，一定要懂什麼“Prompt Engineering”。 結果大家越查越頭痛，越練越混亂，甚至懷疑是不是自己不夠聰明。 但其實—— 新手根本不用懂 prompt。 你只要會講自己的「目的」，AI 就會替你把它翻譯成 prompt。 這篇文章就是要教你： 完全零基礎的小白，要怎麼問 AI，才能讓 AI 反過來幫你產生真正好用的 prompt？ 而且方法非常簡單。 🚶‍♂️ Step 1：不要想 prompt，先說你「想要什麼」 大部分新手在面對 AI 時，第一句就緊張到硬擠程式碼般的句子： 「幫我寫一個 prompt 用來分析股票」 「我需要一個 prompt 讓你變成專家」 「請寫出最佳 prompt…」 但你根本不需要這樣。 你只要像跟朋友聊天那樣說出目的： 我想學健身 我想多賺點錢 我想做一個小專案 我想弄懂主力分析 我想寫程式但不知道怎麼開始 這些就是最原始、最有力量的訊息。 對 AI 來說，這些“目的”比任何 prompt 都重要。 🤖 Step 2：AI 會反問你，幫你把目的變成「可執行」的結構 例如你說： 我想多賺錢。 AI 會問： 你有多少時間？ 你擅長什麼？ 你想短期還長期？ 你會發現 AI 在做一件事： 把你的模糊意圖 → 拆成 AI 能理解的具體問題。 你不需要知道怎麼描述問題， AI 會一步一步把你帶到正確的位置。 這個過程，本身比 prompt 還強。 🧠 Step 3：AI 自己生成一份「專業 Prompt」給你 當 AI 問清楚之後，它就能輸出： 一份完整的角色設定 任務流程 限制條件 格式說明 注意事項 也就是： 你不用寫 prompt，AI 會幫你寫 prompt。 這就是你在我們對話中看到的魔法： 你只講一句：「我很缺錢，我想多賺錢。」 我就替你生出一份「青少年賺錢安全版完整 prompt」。 新手寫不出來的東西，AI 卻能從你的目的反推出來。 🧩 Step ...
閱讀完整內容

蜀漢多代理智能架構 *AI 不是一個人工作，而是一個國家在運作。*

圖片
自畢業以來, 我一直不喜歡, 也不擅長於寫程式(除非迫不得已), 在MS, TrendMicro工作時, 作的也是QA TEAM. 寫過比較大的程式, 應該只有在電信公司時, 為了解決公司的流量分析, 以及查DDOS攻擊來源(從router倒出來log出來查, 一秒鐘大概有幾千萬資料, 以前是由資深工程師由人工查, 查完大概也是2天後了). 開了公司, 更是跟軟體無關, 唯一想的事, 都是怎麼賺錢而已. 2,3月個月前, 剛好有朋友聊到, 他們在做內部的知識圖譜系統, 希望乭以簡化採購單位建立/查詢資料時, 資料因為有多語義, 跨國語言, 還有通用欄位等問題, 傳統ERP 也無法解決這問題, 所以變開始重操舊業, 試試看能不能寫的出來. 當然, 重頭學程式語言那是不可能的, 那時候剛好看到有個東西 , 叫Vibe Coiding ,似乎很神奇, 只要開口說, AI就可以幫你幫程式寫出來, 正好符合我這種非專業人士的需求.. 從一開始用Minus , 說真的, 還滿厲害的, 描述一下你要的目的, 很快就連網站都架好了, 代價是成本很高, 也很難叫他DEBUG. 後來開始用Codex , VS CODE, 用Github copilot, 寫是能寫, 但是常常會遇到有些問題, 叫它改, 怎麼改都改不出來, 常常要不同Agent 換來換去. 但是改來改去, 常常就風格不一, 要不然就是AI對於畫面的理解總是特別難. 還好, 後來有了反重力, 這一切才有改善. 所以, 常常我要一邊問GPT, 一邊叫copilot 裏的GPT,Claude,Gemini, 還有反重力進來改, 在幾個AGENT 之間不停的切來切去, 一隻不行就換另一隻. 這2,3個月下來, 跌跌撞撞也寫了幾萬行的程式碼, KG , 股票分析程式也慢慢可以用了. 那是我第一次覺得, Vibe Coding是可行的, 但不能像我一開始那樣, 開口就叫他們寫, 寫一些小型的可能沒什麼問題, 但是程式到了幾千行, 對於像我一樣的非專業人士就會造成災難, 因為程式都不是自己寫的, 架構, 解決工具都是AI 做的, 你只是不斷地按, "OK" 而已. Agents.md 是我一開始的解決, 把一些基本原則寫進去, 改程式時, 就讓AI去讀, 為了讓 GPT 可以更直接跟其它AI 溝通, 我也寫了一支...
閱讀完整內容

不要再學 Prompt: 第 2 篇：LLM 如何把人的意圖翻譯成高品質 Prompt？

圖片
📘 第 2 篇：LLM 如何把人的意圖翻譯成高品質 Prompt？——我做了一個實驗，結果讓我大開眼界 前陣子我做了一個小實驗， 我只是丟給 AI 一句非常模糊的需求： 「我很缺錢，我想多賺錢，有什麼方法？」 老實說，我故意這樣問，因為我想看看 AI 在資訊不完整的情況下，到底能理解多少。 結果它給我的回答—— 不只是建議，而是一整套：a背景分析 問題澄清 安全限制 行為邏輯 最後還反過來幫我「生成一份完整的專業 Prompt」 這件事讓我意識到一個關鍵： AI 不只是回答問題，它其實在「翻譯你的意圖」。 新手常常以為 prompt 要寫得又長又精準， 但這次實驗讓我看到： 其實你只要講出目的，AI 就能自己推理出完整的 prompt。 下面我就把這次的事情拆開講，讓大家看看 LLM 到底在背後做什麼。 🔍 一、我只給了一句話，AI 卻開始主動推理 我那句話只有 10 幾個字： 「我很缺錢，我想多賺錢，有什麼方法？」 沒說背景、沒講技能、沒講限制，我甚至沒有問清楚問題本身。 但 AI 卻像聽懂我背後的動機那樣開始追問： 你週末有沒有空？ 你擅長什麼？ 你希望短期還是長期？ 那一刻我突然想通一件事： 它不是在“回答句子”， 它是在“重建任務”。 這是我以前從來沒換個角度看過的事情。 🧠 二、AI 不只是理解語言，它會“補齊你沒說的部分” 通常我們跟人合作時，也會這樣： 如果有人說：「我想賺錢。」 你大概也會問： 你會什麼？ 你有多少時間？ 你願意做什麼類型的工作？ AI 正在模仿這種「人類的深層推理」。 所以它開始自動判斷： 既然你是青少年，你不能做成人工作。 投資、借貸、金融風險都要避開。 找零用錢方法需要考慮安全與時間。 它什麼都沒問你年齡，卻能“推理出你該避免的事情”。 這也讓我開始理解： 好的 prompt，不一定要你寫， AI 會按照你的目的自己建構出來。 🧩 三、AI 是怎麼把一句普通話 → 變成高品質 Prompt？ 當我回答完 AI 的追問後，它做了一件超厲害的事： 竟然把我給的資訊整理成一份「完整可重複使用的 prompt」。 內容包含： 角色設定（青少年生活教練） 安全限制（避免金融風險） 任務流程（先澄清 ...
閱讀完整內容