tenstorrent

tt-metal

tenstorrent

:metal: TT-NN operator library, and TT-Metalium low level kernel programming model.

AI 简介

TT-Metal 是 Tenstorrent 为其自研 AI 加速器(如 Wormhole、Blackhole)设计的底层软硬件协同计算框架,提供 TT-NN 神经网络算子库与 TT-Metalium 内核编程模型。核心功能包括针对 LLM 和生成式 AI 模型(如 Llama、Qwen、Stable Diffusion)的高度优化推理支持,支持张量并行(TP)、数据并行(DP)及 scale-out 多芯片部署,具备低延迟(TTFT)与高吞吐(Tokens/s)特性。适用于在 Tenstorrent 加速卡上部署大语言模型和多模态生成任务的生产级 AI 推理场景。

C++
1.6k
Stars
522
Forks
22
Watchers
4k
Issues

Star 增长

今日0
近 7 天0
近 30 天+25
综合评分55.66
默认分支main