gensim

Gensim 是一个用于主题建模、文档索引和相似度检索的 Python 库，特别适用于处理大规模文本数据。其核心功能包括多种高效的主题建模算法（如 LSA/LSI/SVD、LDA、HDP）及词向量模型（如 word2vec），支持内存独立处理超大语料库，并具备多核与分布式计算能力以加速处理过程。Gensim 提供了直观易用的接口设计，方便用户自定义输入流或扩展其他向量空间算法。该库非常适合自然语言处理与信息检索领域的研究人员和开发者使用，尤其是在需要对海量文本数据进行主题分析、文档相似度计算等任务时。