omlx

oMLX 是一个专为苹果芯片优化的大型语言模型推理服务器，支持连续批处理和SSD缓存，并可通过macOS菜单栏直接管理。其核心功能包括持续批处理、分层KV缓存以及通过菜单栏进行直观管理，这些特性使得在本地运行大型语言模型变得更加高效与便捷。技术上，oMLX使用Python开发，兼容Apple Silicon架构，适用于需要高性能LLM推理的应用场景，如代码辅助工具Claude Code等。对于希望在Mac上实现快速响应且资源消耗可控的语言模型应用开发者来说，oMLX是一个理想的选择。