lance-format

lance

lance-format

Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB, Polars, Pyarrow, and PyTorch with more integrations coming..

AI 简介

Lance 是一种面向多模态AI的开放湖仓格式,支持在对象存储上构建完整的湖仓以驱动AI工作流。其核心功能包括高效的向量搜索、全文搜索、随机访问和特征工程能力,并且能够以比Parquet快100倍的速度进行随机访问。Lance支持多种数据类型(如图像、视频、音频、文本和嵌入),并提供零拷贝版本控制、自动ACID事务等特性,非常适合用于构建搜索引擎、特征存储以及需要高性能IO的大规模机器学习训练场景。此外,Lance与Pandas、DuckDB、Polars、PyArrow等工具兼容,为用户提供了一个丰富的生态系统集成选项。

Rust
Apache License 2.0
6.6k
Stars
703
Forks
51
Watchers
903
Issues

Star 增长

今日+7
近 7 天+41
近 30 天+209
综合评分108.54
默认分支main