gateGPT
fguzman82
Full Transformer into a custom chip. microGPT in RTL, generating names on a Virtex-5 FPGA at ~56k tokens/second.
AI 简介
gateGPT 是一个在 Xilinx Virtex-5 FPGA 上以 RTL（Verilog）实现的微型字符级 Transformer 推理引擎，专为低延迟、高吞吐量的边缘端生成式任务设计。它采用 Q5.11 定点运算、微码控制架构与持久化 KV 缓存，支持增量解码，实测达约 56k tokens/秒（80 MHz）。核心模块包括嵌入、RMSNorm、并行矩阵向量乘、多头因果注意力及温度采样器，全部硬件化且位精确等效于 Python 参考实现。适用于资源受限的嵌入式 AI 场景，如实时文本生成、FPGA 教学演示、硬件加速推理原型验证等。
Verilog
607
Stars
101
Forks
2
Watchers
2
Issues
Star 增长
今日0
近 7 天0
近 30 天+24
综合评分49.43
默认分支main