tt-metal

tenstorrent/tt-metal 是一个用于神经网络操作的库，同时提供了一个名为TT-Metalium的底层内核编程模型。该项目采用C++开发，旨在通过优化性能、准确性和兼容性来支持包括Llama和Qwen在内的多种大语言模型。它特别强调了在Tenstorrent硬件上的高效执行，能够显著提升模型的推理速度与吞吐量。适合于需要高性能计算支持的人工智能应用场景，如大规模文本生成、图像及视频处理等任务。