tanishq-dubey

macos-laguna-s2.1

tanishq-dubey

Community benchmarks and scripts for running Poolside Laguna S 2.1

AI 简介

这是一个面向 Apple Silicon(特别是 M5 Max)平台的 Laguna S 2.1 大语言模型量化版本性能基准测试工具集。项目提供可复现的本地评测框架,支持多种 MLX 和 GGUF 格式量化模型(如 2-bit、3-bit、Q4_K_XL 等),自动采集生成吞吐量(tok/s)、峰值内存占用、加载耗时、任务得分等关键指标,并记录运行环境元数据。所有测试均基于 macOS 原生 MLX 生态(MLX-LM、mlx-vlm)完成,强调跨量化方案的横向对比与结果可复现性。适用于在苹果芯片设备上评估和选型 Laguna S 2.1 模型的不同量化实现,尤其适合本地部署、边缘推理及高效 AI 应用开发场景。

Python
MIT License
150
Stars
2
Forks
161
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分1.43
默认分支main