ml-systems-notes

这是一个面向机器学习系统工程的学习笔记集合，聚焦于大规模模型训练与部署的核心技术。内容涵盖分布式训练基础（如NCCL通信原语、DDP/Zero/Tensor/Pipeline并行）、模型量化方法（对称/非对称量化、AWQ、GPTQ、SmoothQuant等）以及PyTorch底层机制分析，并包含JAX在TPU上的性能建模实践。项目以实验驱动、持续更新，适合ML系统工程师、分布式训练开发者及希望深入理解训练框架底层原理的研究者参考使用。