
inference-school
videlalvaro
A hands-on Swift and Metal course for building LLM inference from first principles on Apple silicon, with 48 guided lessons, runnable exercises, a native macOS Studio, and a complete companion book.
AI 简介
这是一个面向 Apple Silicon 平台的 LLM 推理引擎实践课程,通过 48 个渐进式实验,从零构建基于 Swift 和 Metal 的轻量级语言模型推理系统。核心特点是双路径实现(可验证的 Swift CPU 实现 + 可分析的 Metal GPU 实现),覆盖 GEMV、Q/K/V 投影、注意力机制到端到端 token 生成全流程,并配套原生 macOS 学习应用与 545 页图文详尽的配套教材。适合希望深入理解 LLM 推理底层原理、掌握 Metal 异构计算优化、并在 macOS 环境下开展模型部署实践的开发者与学习者。
Swift
Apache License 2.0170
Stars
14
Forks
1
Watchers
1
Issues
Star 增长
今日0
近 7 天+32
近 30 天+32
综合评分62.73
默认分支main