xjdr-alt

entropix

xjdr-alt

Entropy Based Sampling and Parallel CoT Decoding

AI 简介

entropix 是一个基于熵值的推理时采样与并行思维链(CoT)解码研究项目,旨在通过动态计算 token 生成过程中的不确定性(熵)实现上下文感知的采样策略,提升大语言模型推理质量。其核心包含熵驱动采样器、支持多GPU/TPU的大模型推理栈及轻量级本地版本(entropix-local),技术上融合JAX/PyTorch/MLX框架,强调推理阶段计算资源的高效利用。适用于需要高质量、可控推理输出的研究场景,如复杂推理任务、对话系统优化及本地小模型实验。

Python
Apache License 2.0
3.4k
Stars
319
Forks
70
Watchers
33
Issues

Star 增长

今日0
近 7 天0
近 30 天+1
综合评分59.62
默认分支main