[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"project-92846":3},{"id":4,"name":5,"fullName":6,"owner":7,"repo":5,"description":8,"homepage":9,"htmlUrl":9,"language":10,"languages":9,"totalLinesOfCode":9,"stars":11,"forks":12,"watchers":13,"openIssues":14,"contributorsCount":14,"subscribersCount":14,"size":14,"stars1d":14,"stars7d":14,"stars30d":15,"stars90d":14,"forks30d":14,"starsTrendScore":14,"compositeScore":16,"rankGlobal":9,"rankLanguage":9,"license":17,"archived":18,"fork":18,"defaultBranch":19,"hasWiki":20,"hasPages":20,"topics":21,"createdAt":9,"pushedAt":9,"updatedAt":22,"readmeContent":23,"aiSummary":24,"trendingCount":14,"starSnapshotCount":14,"syncStatus":25,"lastSyncTime":26,"discoverSource":27},92846,"rlhf-book-zh-tw","ai-twinkle\u002Frlhf-book-zh-tw","ai-twinkle","《Reinforcement Learning from Human Feedback》繁體中文全譯本＋每章互動實驗 | Unofficial zh-TW community translation of the RLHF Book with interactive labs",null,"HTML",166,29,1,0,38,48.23,"Other",false,"main",true,[],"2026-07-22 04:02:07","# RLHF 中文版 — 從人類回饋中強化學習（互動版）\n\n> **非官方社群翻譯（Unofficial Community Translation）**\n> 本專案為 Nathan Lambert《[Reinforcement Learning from Human Feedback](https:\u002F\u002Frlhfbook.com)》（2026-07-01 版）的繁體中文（zh-TW）全譯本，由台灣 [Twinkle AI Community](https:\u002F\u002Fgithub.com\u002Fai-twinkle) 翻譯維護，已獲原作者知悉（[rlhf-book#472](https:\u002F\u002Fgithub.com\u002Fnatolambert\u002Frlhf-book\u002Fissues\u002F472)）。依 [CC BY-NC-SA 4.0](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002Fdeed.zh-hant) 授權，僅供學習研究、不得作商業用途。支持原作者請購買[實體書](https:\u002F\u002Frlhfbook.com)。\n\n**📖 線上閱讀：\u003Chttps:\u002F\u002Fapps.twinkleai.tw\u002Frlhf-book-zh-tw\u002F>**\n\n除了全書翻譯，每一章都配備一個**互動實驗**，讓讀者能動手操作該章的核心概念——從 Bradley-Terry 偏好機率、PPO 裁剪目標、GRPO 群組優勢，到 DPO 損失曲面與前向／反向 KL 的收斂行為。\n\n## 互動實驗一覽\n\n| 章節 | 實驗 |\n|---|---|\n| 第 1 章 導論 | RLHF 三步驟互動管線 |\n| 第 2 章 RLHF 簡史 | RLHF 發展互動時間軸 |\n| 第 3 章 訓練總覽 | 溫控器 RL 模擬器 |\n| 第 4 章 指令微調 | 聊天模板建構器（ChatML／Zephyr／Tülu＋損失遮罩） |\n| 第 5 章 獎勵模型 | Bradley-Terry 獎勵模型探索器 |\n| 第 6 章 強化學習 | PPO 裁剪目標／GRPO 群組優勢遊樂場 |\n| 第 7 章 推理與推論時擴展 | pass@k vs 多數決模擬 |\n| 第 8 章 直接對齊演算法 | DPO 損失探索器 |\n| 第 9 章 拒絕採樣 | 拒絕採樣與 Best-of-N 模擬器 |\n| 第 10 章 偏好的本質 | 偏好聚合悖論（Condorcet 循環） |\n| 第 11 章 偏好資料 | 當一次偏好標註員（偏誤陷阱體驗） |\n| 第 12 章 合成資料與蒸餾 | 知識蒸餾軟標籤實驗室 |\n| 第 13 章 工具使用 | 工具呼叫流程模擬器 |\n| 第 14 章 過度最佳化 | 獎勵過度最佳化模擬（Goodhart 定律） |\n| 第 15 章 正則化 | KL 散度探索器（前向 vs 反向） |\n| 第 16 章 評估 | 評估雜訊模擬器 |\n| 第 17 章 模型性格 | Persona 向量調音台 |\n| 附錄 A／B／C | 詞彙抽認卡／話多平衡體驗器／評測變異查核器 |\n\n## 目錄結構\n\n```\n├── content\u002F                     # 逐章翻譯的獨立 Markdown（17 章 + 3 附錄 + 參考文獻）\n├── webapp\u002F                      # 互動式網站（純靜態、完全離線可用）\n│   ├── index.html               # 目錄首頁\n│   ├── chapters\u002F*.html          # 每章一頁（內嵌翻譯內容）\n│   └── assets\u002F                  # 樣式、渲染器、互動元件、插圖、本地函式庫\n└── build.py                     # 建置腳本：content\u002F*.md → webapp 頁面\n```\n\n## 本地使用\n\n```bash\ncd webapp && python3 -m http.server 8642   # 瀏覽 http:\u002F\u002Flocalhost:8642\n```\n\n修改 `content\u002F*.md` 或新增 `webapp\u002Fassets\u002Fwidgets\u002F*.js` 後重新執行 `python3 build.py`。\n\n## 翻譯慣例\n\n- 專有名詞第一次出現採「中文（English）」，常用縮寫（RLHF、PPO、DPO、SFT…）保留英文\n- 數學式以 LaTeX 轉錄，公式編號沿用原書（`\\tag{n}`）\n- 文獻引用標記 [N] 對應 `content\u002Fbibliography.md`（保留原文）\n- 程式碼區塊保留原文，註解翻譯\n\n發現翻譯問題歡迎開 issue 或 PR。\n\n---\n\n## About (English)\n\nThis is an **unofficial Traditional Chinese (zh-TW) community translation** of *[Reinforcement Learning from Human Feedback](https:\u002F\u002Frlhfbook.com)* by Nathan Lambert (2026-07-01 edition), maintained by the [Twinkle AI Community](https:\u002F\u002Fgithub.com\u002Fai-twinkle) in Taiwan, acknowledged by the author in [rlhf-book#472](https:\u002F\u002Fgithub.com\u002Fnatolambert\u002Frlhf-book\u002Fissues\u002F472).\n\nBeyond the full translation, every chapter ships with an **interactive lab** — a hands-on demo of the chapter's core concept (Bradley-Terry explorer, PPO clipping \u002F GRPO group-advantage playground, DPO loss explorer, forward\u002Freverse KL visualizer, and more).\n\n**Read online: \u003Chttps:\u002F\u002Fapps.twinkleai.tw\u002Frlhf-book-zh-tw\u002F>**\n\nLicensed under [CC BY-NC-SA 4.0](https:\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-sa\u002F4.0\u002F), same as the original chapters. Non-commercial; full attribution to the original author. Please support the author by purchasing the [print edition](https:\u002F\u002Frlhfbook.com).\n\n## Citation\n\nPlease cite the original book:\n\n```bibtex\n@book{rlhf2026lambert,\n  author       = {Nathan Lambert},\n  title        = {Reinforcement Learning from Human Feedback},\n  year         = {2026},\n  publisher    = {Online},\n  url          = {https:\u002F\u002Frlhfbook.com},\n}\n```\n","这是一个面向中文学习者的《Reinforcement Learning from Human Feedback》（RLHF）繁体中文全译本及互动教学项目。项目完整翻译原书17章正文与3个附录，并为每章配套可离线运行的交互式实验工具，涵盖偏好建模、奖励建模、PPO\u002FDPO算法可视化、KL散度分析、拒绝采样模拟等核心概念。技术上采用纯静态HTML实现，支持本地部署，所有实验基于前端JavaScript构建，无需服务器依赖。适用于AI研究者、大模型对齐方向学习者及高校教学场景，尤其适合希望通过动手实践理解RLHF原理的中文用户。",2,"2026-07-11 02:30:04","CREATED_QUERY"]