huggingface

datasets

huggingface

🤗 The largest hub of ready-to-use datasets for AI models with fast, easy-to-use and efficient data manipulation tools

AI 简介

Hugging Face Datasets 是一个面向 AI 开发者的开源数据集管理库,提供统一接口访问和处理海量公开数据集。核心功能包括:一键加载来自 Hugging Face 数据集中心的数千个结构化/非结构化数据集(支持文本、图像、语音等模态),以及高效、可复现的数据预处理能力(支持 CSV/JSON/Parquet/音频/图像等格式,兼容 PyTorch/TensorFlow/JAX 等框架)。其基于内存映射与流式加载设计,兼顾速度与内存效率,适用于机器学习模型训练、评估、数据探索及教学实验等场景。

Python
Apache License 2.0
21.7k
Stars
3.3k
Forks
281
Watchers
898
Issues

Star 增长

今日0
近 7 天0
近 30 天+46
综合评分74.6
默认分支main