token-efficiency-lex

EchoLingua 是一个面向多语言大模型应用的令牌效率分析框架，用于量化不同语言在相同语义内容下所需的 token 消耗差异。项目基于14种语言的平行语料（新闻、文学、技术文档等），通过主流LLM分词器（如Claude、Llama 3）计算语言间token-to-meaning比率，生成标准化的语言平等指数（LPI）。其核心能力包括跨语言token成本对比、预算预测与分词偏差分析，适用于多语言AI产品开发、本地化成本优化及LLM tokenizer公平性研究场景。