策展筆記 Vol.20
基石
🗞️ 社群新知 PLAYBOOK
Stanford CS336:從零構建大型語言模型的完整實作
史丹佛大學近期公開了其研究所課程《CS336: Language Modeling from Scratch》的完整教學影片與講義。這門課原本學費高達 7,570 美元(約台幣 24.5 萬),如今免費釋出全套 17 集、約 20 小時的內容。不同於市面上多數教導「如何使用 API」的課程,這是一門專注於「如何從頭打造模型」的底層技術課。
核心概念拆解:
這門課填補了應用層與底層開發之間的知識缺口,主要涵蓋三大技術模組:
⇨ 全流程開發實作
課程強調不依賴現成的高級框架,從最上游的資料工程(Data Engineering)切入,深入講解 Tokenization、Transformer 架構設計及 PyTorch 底層實作,讓開發者掌握模型運作的物理本質。
⇨ 系統效率與擴展
針對模型訓練的算力瓶頸,詳細解析 GPU 加速原理、Triton Kernel 撰寫,以及各類併行技術(Parallelism)。這是解決模型擴展(Scaling)問題的關鍵知識。
⇨ 模型對齊技術
探討如何將預訓練模型轉化為實用助手。課程深入指令微調(SFT)與 RLHF(人類回饋強化學習)的演算法原理,這是目前控制模型行為的核心技術。
操作示例:
面對高難度的研究所課程,建議依據角色採取不同學習策略:
研發人員:建議下載 GitHub 講義,重點攻克「系統效率」章節,嘗試重現 PyTorch 實作範例。
產品/非技術人員:可專注於「對齊(Alignment)」單元,理解 SFT 與 RLHF 的邏輯,這有助於在設計 AI 產品或 Prompt 時,更能理解模型的邊界與行為模式。
在 AI 應用普及的當下,這份教材提供了極具深度的技術視角;即使不親手訓練模型,理解其底層原理也是建立技術判斷力的重要途徑。
💡 創作者觀點 INSIGHT
Steph Ango:風格是一種一致的約束
(圖片來源:Steph Ango -《Style is consistent constraint》)
Obsidian CEO Steph Ango 在其文章 《Style is consistent constraint》中,反駁了王爾德的名言「一致性是缺乏想像力者的避難所」。他認為在創作與生產力流程中,一致性並非扼殺創意,反而是建立風格的必要條件。
「風格就是一種一致的約束。」 Steph Ango 指出:「建立一套風格,能將未來的數百個決策簡化成一個,讓你更專注於目標。」
觀點拆解:
⇨ 思維求變,流程求穩
區分「心智與「流程」。心智應該靈活、可隨時改變;但流程應該要一致、可重複。風格不是終身承諾,它只是你「目前」選擇的做事方式。
⇨ 決策的簡化與槓桿
風格具有槓桿效應。當你為一些事物設定一致的規則後(例如:作者總是將標籤用複數形式命名),你就不用每次都費心思考瑣事。重複使用這套規則,能大幅節省時間成本。
⇨ 透過一致性形成個人觀點
並非所有事物都需要統一的風格。要認真思考哪些需要保持一致,哪些不需要。如果你長期堅持自己的規則,你的風格就會形成一個連貫且易於辨識的個人觀點。
行動應用:
Steph Ango 舉了幾個他自己的風格準則給大家參考:
他所有日期格式都使用
YYYY-MM-DD格式。他所有的寫作都使用純文字檔案。
他使用複數形式的標籤和資料夾名稱(例如
#people而不是#person)。他穿沒有 logo 的單色衣服。
找出那些能幫你『減少決策』的規則,你的風格就從這裡開始建立。
Steph Ango 說:風格是一項經久耐用的投資。它讓你判斷何時該遵守規則,何時又該打破它;透過約束形式,你能更高效地產出內容。
⚙️ 創作工具 TOOL
reMarkable Paper Pro Move:把「專注模式」放進口袋裡
在通勤或會議空檔,我們常掏出手機滑社群,把零碎時間變成了垃圾時間。所謂電子筆記本(E-note),是一種搭載 E Ink 電子紙螢幕,專注於還原真實書寫觸感,並刻意剔除娛樂功能的數位裝置。 如果有一台這樣的設備,能塞進外套口袋,讓你隨時閱讀與批註,會不會改變你的創作習慣?最新的 reMarkable Paper Pro Move 就是為此而生。
工具解決方案:
它是旗艦機 Paper Pro 的 7.3 吋輕量版,但在核心體驗上完全沒有縮水:
⇨ 全彩電子紙螢幕
搭載獨家 Canvas Color 顯示技術,這意味著你可以在捷運上閱讀全彩的圖表報告,並用不同顏色的筆觸進行分類標記,資訊呈現比黑白螢幕更層次分明。
⇨ 終於加入的「閱讀燈」
過去 reMarkable 最被詬病的是暗處無法使用。Move 版本加入了閱讀燈,讓你在昏暗的飛機機艙或睡前閱讀時,依然能保持高效,且光線柔和不刺眼。
⇨ 零干擾的封閉系統
它堅持不提供瀏覽器與社群通知。這不是功能缺失,而是產品哲學——它剔除了一切會打斷你的因素,確保你拿起它時,只能專注於閱讀文件或輸出想法。
應用情境:
雲端講義同步:它支援 PDF 與 Google Drive/Dropbox 整合,你可以直接將課程講義存入 Move,在通勤時拿出來畫線複習。
靈感捕捉:在走路或排隊時突然想到 Prompt 靈感,立刻掏出來手寫記錄,捕捉稍縱即逝的念頭。
在這個注意力稀缺的時代,Paper Pro Move 提供了一種「隨身攜帶的專注力」。它讓你不再受限於地點,隨時隨地都能進入深度工作狀態。
✍️ 瑞塔反思
最近我花了不少時間挖掘自己的興趣,發現自己對人物傳記特別著迷。我很好奇:為什麼這些人敢做大家不敢做的事?他們眼中的世界到底長什麼樣子?
這期反思,想分享我最近看完 Google DeepMind 創辦人 Demis Hassabis 紀錄片《The Thinking Game》後的幾個小小心得。
這部片記錄了他如何從一個 4 歲的西洋棋神童,轉身成為天才遊戲開發者、認知神經科學家,最後創辦 DeepMind,用 AI 破解了困擾生物學 50 年的蛋白質摺疊難題。
我印象最深刻的是 Demis 在多段自白的片段中,所提到的個人成長還有他是怎麼思考的部分。
以下是我看完影片後的幾個 takeaway,分享給大家:
1. 其實訓練 AI 的方式,跟培養一個全才的人類一樣。給環境、給試錯空間、在過程中給回饋、讓人在試錯過程中累積經驗並且從中學習。
2. 人類需要多元的思維模型。DeepMind 聯合創辦人 Shane Legg 認為人類智慧的關鍵是「通識」與「學習」。
這正呼應了影片中 Demis 提到他認為劍橋很棒的原因——在那裡他可以和不同學習領域的人混在一起,有科學家、哲學家、藝術家、生物學家等,每個人每天會談論各式各樣的議題。這種跨領域的激盪,驗證了「通識」與「學習」正是打造通用 AI 的關鍵。
3. 觀察人性與人類行為,永遠是商業洞察的最佳方式。Demis 在 17 歲製作《Theme Park》時證明了這一點。
4. 關於思考:我對 Demis 所說的 「It’s just a good thinking game」 很好奇。像是他認為什麼是「好的遊戲」,什麼是「思考」以及「It」是指什麼?
以下是我跟 Gemini 討論後的結論:
⇨ 遊戲的本質是「可解性」:
這是一個極具顛覆性的世界觀。在常人眼裡,癌症是詛咒、氣候變遷是災難、蛋白質摺疊是神的密碼。但在 Demis 眼裡,只要這個宇宙有物理法則,它就是一場有規則的「遊戲」。
這意味著這世界上沒有「無解」的難題,只有「還沒找到最優解」的賽局。他把對自然的敬畏,轉化為對規則的解析。既然是遊戲,就一定有通關的方法。
⇨ 好的遊戲的本質是「現實影響力」:
這解釋了為什麼他在 12 歲時,會覺得下西洋棋是在「浪費心智」。因為西洋棋雖然好玩,但贏了只是一個虛擬的分數,無法改變世界。
對 Demis 而言,一個「好」的遊戲,必須具備「現實意義的可轉化性」。這場遊戲的通關獎勵,不該只是獎盃,而是全人類的福祉(如治癒疾病、解決能源危機)。這才是值得他投入一生去玩的遊戲。
⇨ 思考的本質是「壓縮」:
他常說「思考思考(Thinking about thinking)」,其實是在尋找一把萬能鑰匙。
真正的思考,不是去記憶海量的棋譜或生物數據,而是去找到這些數據背後的生成法則。這就是「壓縮」——把無限複雜的現實世界,壓縮成幾條簡潔的公式或演算法。AlphaZero 沒背棋譜卻贏了,是因為它掌握了圍棋的「壓縮規律」。
⇨ 「It」是指什麼?
指的是「用智力破解宇宙奧秘的過程」。這句話是他對自己一生的總結。從 4 歲坐在棋盤前,到 48 歲獲得諾貝爾獎,他其實從未改變。他一直在玩同一個遊戲,只是他把這個遊戲的層級,從「打敗對手」,升級到了「破解生命的底層邏輯」。
這不僅是一部科技紀錄片,更見證了人類如何突破極限。很推薦大家找時間看看!
P.S. 若對完整觀影心得有興趣的朋友,也歡迎到我的粉專閱讀 :)




