tekaratzas

RustGPT

tekaratzas

An transformer based LLM. Written completely in Rust

AI 简介

RustGPT 是一个完全用 Rust 从零实现的轻量级 Transformer 架构大语言模型(LLM),不依赖任何外部机器学习框架,仅使用 ndarray 进行矩阵运算。项目包含完整的前向/反向传播、Adam 优化器、多头自注意力、层归一化及指令微调流程,支持预训练与交互式对话测试。其模块化设计清晰展现 LLM 底层原理,适用于教学演示、Rust 生态 ML 学习与小型模型原理验证场景,不面向生产部署。

Rust
MIT License
3.1k
Stars
264
Forks
34
Watchers
5
Issues

Star 增长

今日0
近 7 天0
近 30 天+1
综合评分59.37
默认分支main