SomNLP-Corpus
goobolabs
SomNLP-Corpus is an open, high-quality Somali text corpus designed to support research and development in Natural Language Processing (NLP), Large Language Models (LLMs), and other AI applications for the Somali language.
AI 简介
SomNLP-Corpus 是一个面向索马里语的高质量开源文本语料库，专为自然语言处理（NLP）、大语言模型（LLM）训练与评估构建。项目采用 Rust 实现可复现的数据流水线，支持流式处理、配置驱动、全链路溯源，并集成语言识别、多级清洗（含深度清洗）和近似去重（MinHash+LSH）等核心能力，每条语料均附带来源、哈希与质量标记。适用于低资源语言 NLP 研究、索马里语模型预训练/微调、跨语言迁移学习及语料质量分析等场景。
Rust
52
Stars
0
Forks
1
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天+1
综合评分37.1
默认分支main