
streaming
seal-rg
Code for the paper Multi-Stream LLMs: Unblocking Language Models with Parallel Streams of Thoughts, Inputs and Outputs
AI 简介
这是一个实现多流大语言模型(Multi-Stream LLMs)的开源项目,通过并行化思想流、输入流与输出流,提升模型效率、安全性和可监控性。核心采用Qwen系列模型(Qwen2.5/Qwen3/Qwen3.5),支持2–10路认知流的权重共享式交织打包训练;关键技术包括wait-k数据构造、多流交错token调度、Gated-DeltaNet状态管理及多通道NPZ数据格式。适用于需要低延迟推理、运行时行为审计或内部思维过程可观测性的研究场景,如自动推理验证、安全对齐评估与模型透明度分析。
Python
63
Stars
4
Forks
53
Watchers
2
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分39.1
默认分支main