SciSharp

LLamaSharp

SciSharp

A C#/.NET library to run LLM (🦙LLaMA/LLaVA) on your local device efficiently.

AI 简介

LLamaSharp 是一个基于 llama.cpp 的 C#/.NET 本地大语言模型(LLM)推理库,支持在 Windows/macOS/Linux 上高效运行 LLaMA、LLaVA 等开源模型。核心功能包括 CPU/GPU(CUDA/Vulkan)多后端加速、语义内核(Semantic Kernel)集成、RAG 支持及多模态扩展能力。它提供简洁的 .NET API,便于在桌面应用、企业内部工具或边缘设备中嵌入轻量级本地 AI 能力,无需依赖云服务,适合对数据隐私、离线运行和可控部署有要求的场景。

C#
MIT License
3.7k
Stars
499
Forks
66
Watchers
19
Issues

Star 增长

今日0
近 7 天0
近 30 天+11
综合评分61.2
默认分支master