gpt-2-ts

这是一个使用TypeScript编写的轻量级GPT-2 124M模型推理实现。项目核心功能包括基于`Float32Array`的缓冲区、逐token生成文本、KV缓存机制、top-k采样以及流式输出等特性，旨在提供一个简洁且类似C语言风格的运行环境。适用于需要在Node.js环境中进行自然语言处理任务的场景，特别是对于资源有限但又希望利用GPT-2模型能力的情况。通过简单的设置步骤，用户可以下载并转换OpenAI官方提供的GPT-2检查点文件来开始使用，支持多种大小的预训练模型，并可通过调整参数如生成长度、采样策略等定制化输出。